Meclis Kütüphanesinin tarihi Osmanlı Parlamentoları olan “Meclis-i Ayan” ve “Meclis-i Mebusan’a kadar uzanmaktadır.

1916 yılında Meclis-i Mebusan İçtüzüğü'nde yapılan bir düzenlemeyle Kütüphane, idari teşkilat içerisinde özel bir komisyona bağlı bir hizmet olarak yer almıştır.

23 Nisan 1920 tarihinde açılan Türkiye Büyük Millet Meclisi’nin de hemen ilk döneminde yaptığı hizmetlerden biri de Meclis Kütüphanesini resmen kurmak olmuştur.

Dr. Mazhar (Germen) Bey, kütüphanenin kurulması ve bunun için bütçeden ödenek ayrılması hususundaki önergesi ile bu girişimin önderliğini yapmıştır. Önerge 28 Eylül 1920 tarihinde kabul edilmiştir.

Konuyla ilgili olarak, beş kişilik “ Kütüphane Komisyonu ” oluşturulmasıyla TBMM Kütüphanesi resmen kurulmuştur.