Köyün ne zaman kimler tarafından kurulduğu kesin olarak bilkinmiyor.Ancak Rumların ve Ermenilerin oraya ilk yerleşenler olduğu ihtimali yüksektir.Köyün eski adının Rumca oluşu Rumların kurdukları ihtimalini artırıyor.

     Köyde tarihi çok eski yıllara dayanan mağaralar vardır.Bu mağaralar içerisinde tıpkı Gümüşhane Karaca mağaralarında olduğu gibi sarkıtlar,dikitler ve su birikintileri vardır.Bu tarlanın içinden çıkan ve bir tarlayı sulayacak,hatta bir değirmen taşını çevirebilecek miktarda su çıkar.

     Köyün kuzeyinde tarihi çok eskiler dayanan kale vardır.Harabe ve bakımsızdır.Rumlar zamanında burada yaşayan halkın nalbantlıkla ve demircilikle uğraştığı söylenir.

     Yaylım köyü Köse ilçe merkezinin doğusunda olup Köse Bayburt karayolunun üzerindedir.Köyün Köse ilçe merkezine uzaklığı  12 km olup karayolunun 4 km kuzeyinde engebeli bir arazi içindedir.Bayburt' 50 km,Gümüşhane'ye 65 km uzaklıktadır.