Köyün ismi, geçmişte burada yetişen devasa kavak ağaçlarından geliyor. Anadolu Kavağı, Evliya Çelebi'nin ziyaret ettiği ve Seyahatname'sinde bahsettiği yerlerden biri.
Osmanlı Dönemi'nde 1838 yılında karantina için meşhur 'Kavak Tehaffuzhanesi' inşa edildi. Güzel bir tabiata ve iyi konuma sahip köy, yılın her döneminde İstanbulluların uğrak noktası.
Cevriye Hatun Çeşmesi, Midilli Ali Reis Camii ve Marko Paşa Köşkü köydeki önemli tarihi yapılardan birkaç tanesi.
Anadolu Kavağı'ndaki en önemli tarihi yapıysa Yoros Kalesi. Anadolu Kavağı'nın en tepesinde bulunan kale, İstanbul'daki tek Bizans kalesi olma özelliğini taşıyor. 13. ve 14. yy'da inşa edilen kale, Bizans, Ceneviz ve son olarak Osmanlı döneminde kullanıldı. Kalenin adı Türk hakimiyetinin ardından Yoros olarak değiştirildi. İstanbul Boğazı ve Karadeniz'e hakim bir konumda yer alan kalenin genişliği, 60 ile 130 metre arasında değişiyor.
Yoros Kalesi'nin yapılma amacı ise, Rumeli Kavağı'ndaki İmros Kalesi'yle birlikte Boğaz'ın kontrolünün sağlanmasıydı.