Стояли здесь когда-то деревянные постройки, затем каменный дом купеческого сына Михаила Ивановича Пригодина. Перед войной 1812 года хозяйкой их стала Варвара Дмитриевна Полуэктова. В конце 1830‑х годов она продала владение надворному советнику Ивану Даниловичу Лорис‑Меликову, который перестроил старый дом. Для этой цели он пригласил архитектора Михаила Доримедонтовича Быковского, получившего образование в семье итальянских архитекторов Жилярди. Соучеником Быковского был итальянец Константин Львович Минелли. На его сестре Эмилии женился сам архитектор.

С семейным счастьем пришел успех в работе. В 1836 году Быковский стал директором архитектурного училища, много работал и строил в Москве. Сердечная привязанность к жене не угасала, но в 1841 году Эмилия умерла при родах сына Константина. В память о ней Быковский возвел придел Св. Эмилии в католической церкви Петра и Павла. В это же время он получил заказ на дом Лорис‑Меликова в том же переулке, что и церковь.

Красивый двухэтажный дом в духе позднего классицизма должен был стать достойным памяти любимой жены. Первый этаж декорирован рустом, который вкупе с почти квадратными окнами подчеркивает монументальность здания. Второй, парадный этаж, украшен высокими полуциркульными окнами. Их резные деревянные рамы, почти единственные такого рода, сохранившиеся в Москве.

Интерьер здания роскошен и изящен – настоящий дворец: лепные, в росписи потолки, резные двери, мраморные колонны и полы, скульптура, рельефные фризы. На второй этаж ведет лестница каслинского литья. За домом стоит полукруглое здание конюшен, своей формой определяющее камерный, уютный двор усадьбы.

Дом в Милютинском переулке – особое строение Быковского, оно сочетает в себе камерность и пышность, нарядность и уют.

В 1870‑х годах дом перешел другим людям, тогда у него появился антресольный этаж. В 1891 году усадьбу купила Софья Ивановна Экизлер; она сдавала помещения внаем.

В 1928 году в доме устроили коммунальные квартиры, которые сменили конторские помещения, общежитие института. Дом разрушался, почти весь интерьер был уничтожен. В 1988 году дом был передан Всероссийскому фонду культуры, кропотливая научная реставрационная работа которого позволила возродить архитектуру и декор интерьеров.