Köse'nin kuruluşu ve tarihi konusunda kesin bilgi ve bulgular bulunmamakla beraber bölge Hitit, Asur, Makedonya, Roma ve Bizans hakimiyetinde kalmış ise de Türk hakimiyeti döneminde ( Selçuklu, ilhanlı, Akkoyunlu ve Osmanlı) kurulmuş olması muhtemeldir.

"Köse" adının Türkçe oluşu ve kültürümüzde yaygın olarak kullanılan lakap ve soyadları arasında bulunması kanıt olarak gösterilebilir. Köse  Ağa adındaki bir beyin oymağı ile Yurtlar ve Ekinyüzü Mevkilerine (Köse Dağı) yerleştiği ve sonra Örenlere (Köse'nin 2 km doğusunda) ve nihayet şimdiki yere yerleştiği ve Köse adınının da bu beyden geldiği rivayet edilmektedir. 1516 yılı Bayburt tahrir kayıtlarında Bayburt Sancağı'nın Kelkit Nahiyesine bağlı bir köy yerleşmesi olarak adı geçmektedir. 1916 yılında Rus ve Ermenilerin istilasına uğramış ancak 17 Şubat 1918 günü işgalden kurtulmuştur.

Cumhuriyet döneminde Gümüşhane'nin il yapılmasının (1924) ardından Kelkit Kazasına bağlı bir bucak merkezi haline getirilmiştir. Köse 1954 yılında belediye 3392 sayılı kanunla da 19.06.1987 tarihinde ilçe olmuştur.

Salyazı beldesi ve köylerin kuruluşları konusunda da kesin bilgilerin bulunmamasına rağmen Türk kültürünün dışında daha önce yaşamış olan milletlere ait iz ve eserlere rastlamak mümkündür