Hıristiyan bir aileden dünyaya geldiği rivâyet edilir. Bağdat tasavvuf ekolünün önde gelenlerindendir. İsmi Mahmud, künyesi Ebû Mahfuzdur. Pederinin isimleri Firuzdur.
Çocukluğunda ailesi tarafından, iyi bir Hristiyan eğitimi alması için papaza teslim edilmiştir. Ailesinin, onun Hristiyan öğretileriyle yetişmesini istemesi onların Nasrânî olma ihtimallerini artırmaktadır. Bu eğitim süreci içerisinde papazın teslisle ilgili sözlerine karşı çıktığı için ondan birçok defa dayak yemiş, en sonunda hem okulunu, hem ailesini bırakıp kaçmıştır.
Bir gün Kufe’de İbn Semmâk’ın sohbet ettiği mescide girmiş ve ondan, Allah’tan(cc) yüz çeviren kimseden Allah’ın(cc) yüz çevireceği, Allah’a(cc) bütün kalbiyle yönelen kimseye O’nun(cc) rahmetiyle yöneleceği ve bütün mahlûkatı ona yönelteceği sözünü duymuş ve bundan çok etkilenmiştir. Daha sonra İbn Semmâk’ın vesilesiyle 12 İmâm’ın sekizincisi İmâm Ali er-Rızâ b. Mûsâ el-Kâzım ile tanışmış, onun vasıtasıyla Müslüman olmuş, uzun bir süre ona hizmet etmiştir.
Anne ve babasından uzun süre ayrı kalması ailesine çok ağır gelmiş, onu papaza gönderdiklerine pişman olmuşlar, oğulları hangi dîn üzere kendilerine dönerse o dîni kabul edeceklerine söz vermişlerdir. Yaşanan uzun ayrılıktan sonra ailesinin yanına dönünce ona hangi dîn üzere olduğunu sormuşlar; ondan “İslâm” cevabını alır almaz, verdikleri söz üzere Müslüman olduklarını ilân etmişlerdir.
816’da irtihal eden Ma’rûf-ı Kerhî Bağdat’ta Dicle nehrinin kıble yönünde medfundur. Halifelerinden kâim-i makamı Sırrîyyü’s Sakatî’dir. Tasarrufu hayatta olduğu gibi devam eden dört velîden biridir.