Doksanüç harbi sonrasıda Batum – Artvin civarından göç eden Gürcü muhacirler tarafında kurulmutur . Rivayrtlere göre Babayaka köyünde imamlık yapan Pehlivan Mehmedin yakınlarını çağırması sonucu gelen Gürcüler Babayaka köyünün mahallesi olarak yerleşmişlerdir . Busebeple yeni kurulan köye Gürcü babayaka da denmiştir . İmam pehlivanlığıyla meşhur olduğu için zamanla bu köy Pehlivan hoca adıyla anılmaya başlanmıştır .
Köyün nüfus defteri incelendiğinde en eski doğum kaydının 1269 ve 1273 tarihleri olduğu görülmüştür . Diğer kayıtlar 1293 ten başlamaktadır . Bu sebeple doksanüç harbinden önce ve sonra birkaç defa göç olduğu ortaya çıkmaktadır . Nüfus kayıtları Doksanüç harbi öncesinde ilk olarak 3 – 4 hanenin göç ettiği tezini doğrular niteliktedir .
Göçler sonrasında köyün nüfus durumu ise 1892 tarihinde 16 hanesi ve 62 nüfusu mevcut iken 1898 de az da bir artışla hane sayısı 22 ye nüfusu 67 ye yükselmiştir . 1905 tarihinde ise nüfusu daha da artmış ve 111 e çıkmıştır .
2000 yılında nüfus sayımına göre nüfusu 97 ye düşmüştür . I Dünya savaşında Ali oğlu Ahmet şehit olmuştur
Köy hudutları dahilinde bir çok antika eser ortaya çıkarılmış ve eski paralar bulunmuştur . Köy hudutları eski su künkleri bulunmuştur yine üzerinde süslemeler ve haç işaretleri bulunan bir mermerin ortaya çıkarılması yerleşim bölgesinin Bizans dönemine ait olduğu ihtimalini güçlendirmiştir . mezarlık yakınlarında dede adı verilen mezar yeri olup kime ait olduğu bilinmemektedir .