Yayladere bölgesinde M.Ö. 2100 yıllarında Komukların, Horrilerin M.Ö. 1360 yıllarında Hititler' in egemenliği görülmektedir.

M.Ö. 900 yıllarında ise Urartular M.Ö. 550 yıllarında Perslerin daha sonra İskender İmparatorluğunun himayesine giren ilçe toprakları M.Ö. 75 yıllarında Ermenistan Krallığının M.Ö. 50 yıllarında da Roma İmparatorluğunun himayesine girmiştir.

1073 yılında yapılan Malazgirt savaşına kadar Bizans İmparatorluğu hakimiyetinde bulunan bu bölge bu önemli Türk zaferinden sonra Selçuklu devletine dahil olmuştur. 1080-1201 yılları arasında Saltukoğulları'nın,1473 tarihine kadar Uzun Hasan'ın elinde bulunan ilçe toprakları bu tarihte yapılan Otlukbeli savaşından sonra ise tamamen Osmanlı İmparatorluğunun himayesine girmiştir.

1514 yılına kadar İran Safevi devletinin saldırılarına uğrayan bu bölge Çaldıran savaşından sora Yavuz Sultan Selim tarafından tamamen Osmanlı topraklarına katılır. İlçede bu İmparatorluklar kalıntı olarak biraktikları tek şey yüksek bir kayalığın kale olarak kullanılması ve kale üzerindeki yerleşik hayata dair izler görülmektedir.

Yayladere halkı ilçenin kuruluşuyla ilgili kesin bir bilgiye sahip degildir. Yalnız anlatılanlara göre “ Yayladere de 3 aile yaşamaktadir. Daha sonra Sade aşiretinin kümsür kolundan bir çok aile gelir ve Yayladere' ye yerleşirler. Böylelikle Yayladere tam bir yerleşim merkezi haline gelir.”

Yayladere ilçesinin ilk adı Holhol' dur. Cumhuriyetin ilk yıllarında Holhol Köyü olarak Sarıtosun bucağına bağlı bir köy olan Yayladere 1936 yılında bucak merkezinin Sarıtosun'dan Holhol'a olan eski adı 1959 yılında Yayladere olarak değiştirilmiştir. 04 Temmuz 1987 tarihinde 3392 sayılı yasasıyla Bingöl iline bağlı bir ilçe haline dönüşmüştür.