Köy 7.yüzyılda Peçenek Türklerinin daha sonrada Selçuklu ve Akkoyunluların yerleşim yeri olmuştur.Rivayet edildiğine göre Köse ağa Köseye yani bu bölgeye yerleşince  bu köyede Ard Köse adını vermiştir.Bu isim zamanla değişikliğe uğruyarak Irğa olarak halkın dilinde yerleşmiş.

     Köylerin adları Türkçeleştirildiği yıllarda köye gelen görevliler köyün üzerindeki  kayanın şeklinde dolayı buraya Kılıçkaya adını vermek istemişler.Fakat halk kayanın dibinde kurulduğu için adının Kayadibi olarak değiştirilmesinin daha uygun olacağını söylemişler.Bundan sonrada adı Kayadibi olarak değiştirilmiştir.

    Köyün ilk yerleşim yeri köyün doğu yönünde Köse ilçesine yakın bir yerde idi.Eski yerleşim yerine Pehlüce semti denir.Köy daha sonralardan şimdiki yerleşim yerine taşınmıştır.Eski köyün yerinde kalıntılar mevcuttur.

     Köyün güneyinde bir kilise olduğu,daha önceden burada hiristiyanlarında yaşadığını doğruluyor.Köyde kilise tepesi diye bilinen bir tepe mevcuttur.Kayanın taşı denilen yerde çok eski yıllarda burada bir kale olduğunu gösteriyor.Derindere denilen mevkide daha önceleri olduğu gibi şimdide demir ve bakır madenlerinin çıkarıldığı biliniyor.O zamandan demir curuflarının olduğu görülmektedir.Köyün çevresinde tarihi maden ocakları mevcuttur.

     Kayadibi köyü Köse ilçesinin batı yönünde bir kayanın dibine gizlenmiş görünümündedir.Köyün batısında Akbaba,kuzeyinde Kösedağı,güneyinde ise Övünce köyü bulunur.Köyün güneyinde sulama göleti mevcuttur.Köyün ortasından akan dere köyü ikiye ayırır.

     Köyün arazi yapısı engebelidir.Kayadibi köyü Köse ilçe merkezine 3 km uzaklıkta olup yolu asfalttır.Köyün kuzeyi ormanlık olup genelde meşe ve bodur bitkilerle kaplıdır.Ormanlık alan köye güzel bir görünüm kazandırmaktadır.Köyün arazi yapısı Akbaba,Övünce ve Köse ilçesi ile komşudur.