Публічну бібліотеку заснували в березні 1866 року; вона містилася спочатку в Дворянському зібранні, з 1891 року — в Міській думі. Власний будинок звели 1911 року: план розробив міський архітектор Олександр Кривошеєв, фасад обрали за конкурсом. Хоча першу премію отримав М. Шехонін, міська управа обрала найдешевший проєкт — З. Клаве. Книгосховище на 150 тисяч томів збудували з вогнетривких матеріалів.
До фондів увійшли зібрання М. Юзефовича, історика Івана Лучицького, П. Тулуба, архітекторів Вікентія та Олександра Беретті. 1943 року будинок і фонди згоріли; 1954 року бібліотеку відбудували. З 1994 року це Національна парламентська бібліотека України.