Перший відомий власник садиби — київський міщанин І. Алферов (Алаферов). 1848 року ділянку в нинішніх межах придбав титулярний радник І. Іванов, 1890-го — дворянин П. Головачов. Того ж 1890 року за його замовленням і за проєктом арх. В. Ніколаєва до споруди зробили прибудови, а фасад декорували в стилістиці історизму. 1898-го садибу купив відомий підприємець і доброчинець Н. Терещенко; за заповітом 1901 року маєтність мала перейти до його сина І. Терещенка, а по смерті діда й батька 1903-го її успадкував М. Терещенко. Останнім власником до 1918 року був купець першої гільдії М. Зайцев, який із родиною займав 12-кімнатну квартиру на другому поверсі.
На зламі XIX–XX століть тут містилися контори цукрових заводів (Мартинівського Ф. Терещенка, Харківського, М. Зайцева), Акціонерного товариства «Київський машинобудівний завод Гретера, Криванека і К°» та представництво бельгійського консула, яким був підприємець Я. Гретер, що також жив у будинку. Частину приміщень здавали під житло. Серед мешканців — головна наглядачка Міністерської жіночої гімназії св. Ольги В. Грузевич-Нечай і А. Жекуліна, засновниця та начальниця приватної жіночої гімназії й вечірніх Вищих жіночих курсів.
Наприкінці 1920-х років споруду передали ВУАН. У 1930-х двоповерховий Г-подібний будинок надбудували двома поверхами, а 1956 року до нього долучили чотириповерхову частину в тилу подвір’я, паралельну фасадній. Нині це чотириповерховий цегляний тинькований будинок П-подібного плану.
У 1930–41 та 1944–53 роках тут працював Київський науково-дослідний інститут фізики, заснований 1929-го на базі науково-дослідної кафедри фізики; з 1932 року — в системі ВУАН, з 1936-го — Інститут фізики АН УРСР. Його першим директором (з 1929-го; у цьому будинку — 1930–38) був фізик, академік О. Гольдман, засновник кафедри 1922 року; дослідження його відділу заклали основу сучасних уявлень про електронні процеси на контакті метал–напівпровідник, а розроблені під його керівництвом фотоелементи ФЕСС тривалий час випускало дослідне виробництво інституту. 1938 року вченого репресували, 1956-го реабілітували. Інститут фізики 1953 року переїхав на проспект Науки, 46. Тут працювали П. Борзяк, В. Лашкарьов (1944 заснував відділ напівпровідників, відкрив p–n-переходи в напівпровідниках; 1944–56 мешкав у квартирі № 5 правого крила), М. Пасічник (директор у 1949–65), С. Пекар (теорія поляронів), О. Давидов (теорія екситонів), М. Дейген, О. Нємець, О. Снітко, К. Толпиго, а також Прихотько, яка з 1944 року мешкала в цьому ж будинку.
Інститут математики АН УРСР, який веде родовід від Математичного інституту УАН (1920), розмістився тут у 1939–41 та 1944–50 роках і знову з 1966-го. Власного приміщення інститут довго не мав: його відділи містилися на Володимирській, 35 і 54, а з початку 1950-х до 1966-го — на теперішньому Майдані Незалежності, 6 (будинок не зберігся). Тут працювали Г. Пфейффер, В. Дяченко, М. Крейн, М. Кільчевський, Б. Гнєденко, В. Дзядик, М. Корнійчук та інші.