大迦叶出家后，安心修习头陀苦行。他不愿过竹林精舍或祇园精舍的僧团生活。他喜欢的是露天静坐，冢间观尸，树下补衣。他认为尸臭和白骨，对修无常、苦、空、无我、不净观等，大有益处。
迦叶一派的人，认为修头陀行要做到以下十点：一、选择空闲处生活；二、过托钵生活；三、要常居一处；四、要日中一食；五、要乞食不择贫富；六、要守三衣钵具；七、要常坐树下思维；八、要常在露地静坐；九、要穿著粪扫衣；十、要住于坟墓之处。
舍利弗、目犍连曾劝他发菩提心，从事宏法利生的布教活动。他拒绝说：‘我只能树立艰苦修行的榜样，让来者对少欲知足的苦行能尊重和实践。’
一次，佛在鹿母讲堂为众说法，迦叶身穿粪扫衣，蓬发垢面。蹒跚走来。佛陀劝他：‘迦叶，你年纪老了，不要继续苦行，脱下粪扫衣，换上整洁轻软的衣，不要过于疲劳。’
迦叶拒绝说：‘我以头陀行为乐事，不为衣愁、不为食忧，没有人间的得失，我的内心感到清净解脱的喜悦。’
佛陀听了迦叶的话，意味深长地说：‘将来我的正法，不是毁于天魔外道，而是毁于僧团的腐化与堕落。若要正法久住，憎团巩固，一定要像迦叶那样过严肃的生活。迦叶，我不勉强你，你就走自己要走的路吧。’
修头陀行的迦叶，乞食的时候，总是远游富豪而选择贫穷之家。王舍城里有一个很贫穷的老婆婆，无亲无靠，身患重病，睡在小巷的尘埃中等死。富人家的淘米水流在他的身旁，就赶快用瓦片接住，用来充饥。迦叶同情这位老婆婆，走到她的面前，向她行乞。老婆婆即用瓦片的淘米水供养迦叶，迦叶接过来一饮而尽。老婆婆由于供养淘米水的功德，不久死后，往生忉利天宫，做个美丽的天女，为了感谢迦叶的恩德，还下降人间，将天花散在迦叶的身上。
迦叶的修持深受佛陀器重，佛到舍卫国时，即将王舍城化区交给迦叶负责。
一次，群众对旷野城的僧团有些反应，佛陀令迦叶前去视察。迦叶著衣持钵到旷野城行乞，所有人家都把门关起来。他想：过去这里佛教很兴盛，现在为什么会发生这样的变化？就去找过去认识的信徒了解情况。
信徒说：‘自从佛陀走后，这里的比丘为了个人的安乐，建筑许多僧房，挨门挨户叫信众捐助木料、砖瓦、绳索、运输等。群众实在负担不了，因此见了比丘就关门。’迦叶听到这一情况，心中万分悲痛，立即赶到王舍城向佛报告。
佛立即到旷野城，召集当地所有比丘说：‘我们出家应将自己的一切贡献给人民，才能受到人们的尊敬，弘法才有人听。现在有些人为了个人的安乐，建筑僧房，加重人民的负担，使人民对比丘产生厌恶的情绪，这很不好。今后除有计划地为僧团造共修的精舍之外，一律不得为自己造僧房而向群众募捐。集体共修的精舍也不能建得过多，多了除增加信徒负担，遭到信徒的反对外，在佛教内将导致门户林立，各自为政的局面，也是弊大于利。’佛陀处理好这一事件后，离开旷野城，留大迦叶在这里高树法幢。
