Diriwatkan bahwa Abu Yazid dikenal sebagai seorang ahli sufi. Ia wafat dan dikubur di negeri Irak. Kuburnya tidak putus diziarahi setiap saat dan waktu. Pada suatu hari, seorang pejabat kenamaan datang melihat orang-orang yang berziarah ke kubur Abu Yazid. Di antara kerumunan orang banyak ia bertanya,“Apakah di antara kalian yang berziarah ini ada yang pernah hidup semasa dengan Abu Yazid?”
Lalu, ada seorang tua mengacungkan tangan dan menjawab,
“Ya tuan, saya pernah hidup semasa dengan Abu Yazid dan selalu mengikuti majelis taklim beliau dan mendengarkan petuah-petuah dari beliau.”
Pejabat tadi bertanya lagi,
