Bağlamayla 7 yaşında iken Erzincan’da Kumaş Dede‘nin dükkanında tanıştı. Bu dükkan Davut Sulari, Aşık Daimi, Ali Ekber Çiçek, Aşık Beyhani, Kemter Yusuf gibi nice ustaların yetişmesinde öncü olmuştu. 14 yaşına kadar aşıklık geleneğini öğrenip deyişler söylemeye başlayan sanatçı, sonraki yıllarda İstanbul’a geldi ve Aksaray Musiki Cemiyeti‘nde Nida Tüfekçi‘nin öğrencisi oldu.

Bu dönemlerde müzikal altyapısını oluşturma dönemiydi. 1960 ve 70’li yıllar Arif Sağ için müzikte arayış yıllarıydı. Arif Sağ’ın, bu dönemin toplumsal hareketlerinin müzikle bağdaşan yanlarından çok, piyasadaki ve resmi kurumlardaki müzik uygulamalarına ağırlık verdiği söylenebilir. İlk plağı “Gafil Gezme Şaşkın Bir Gün Ölürsün“ü bu dönemde, 1963’te çıkarmıştı. 1965’de İstanbul Radyosu‘na bağlama sanatçısı olarak girdi.

Bu yıllarda Sağ’ın piyasadaki faaliyetleri de devam etmekteydi. Arif Sağ 45’lik plak dönemi olarak adlandırılan ve yaklaşık 20 yıl devam eden bu sürecin en parlak simalarındandı. Bu süreçte 45’in üzerinde plak, 200’ün üzerinde beste yaptı. Çeşitli sanatçılara bağlamasıyla eşlik etmesinin yanında, – yine bu dönemde- bestelerini de pek çok sanatçıya verdi. Yapılan müzik bugünkü terminolojiyle bir tür arabesk- fantazi benzeriydi; bestelerinde ise yerel motifleri çok sık kullandı.Bu da onun halk müziğinden kopamadığı gerçeğinin bir başka göstergesiydi.

1975’de kurulan “İstanbul Devlet Türk Müziği Konservatuarı“na “öğretim üyesi” olarak giren Arif Sağ, halk müziği ve bağlama konusundaki akademik çalışmalarını da bu dönemde başlattı. 1982’de konservatuardan ayrıldı, kendi adına “Arif Sağ Müzik Evi“ni kurdu. Bu arada Musa Eroğlu, Muhlis Akarsu ve Yavuz Top gibi bağlamanın diğer ustalarıyla Muhabbet serisinin ilk albümünü hazırdı. Uzun bir zamana yayılan bu birlikte çalışma, beş albüm ortaya çıkardı.