Дом на Тверской улице во владении купца первой гильдии Симонова известен с 1767 года, в 1778 году надстроен третьим этажом для Д.И. Нарышкина. Сохранил наружное оформление в духе раннего классицизма. В 1787 году приобретен президентом Вотчинной коллегии Матвеем Васильевичем Дмитриевым-Мамоновым, сын которого Александр был в то время фаворитом Екатерины II. В 1812 году дом принадлежал единственному сыну фаворита, графу Матвею Александровичу Дмитриеву-Мамонову.

Матвей Александрович Дмитриев-Мамонов (1790 – 1863) вступил в Московское ополчение, участвовал в Бородинском, Тарутинском и Малоярославецком сражениях. На свои средства сформировал добровольческий полк, в 1813 году стал его шефом в чине генерал-майора. Во время французской оккупации в его доме расположился пасынок Наполеона принц Евгений Богарне.

Итальянский корпус принца Евгения входил в Москву по Тверской дороге, и дом Мамонова оказался первым представительным домом на его пути. Итальянцы были расквартированы в окрестностях и, вероятно, защитили от огня несколько кварталов от Тверской до Патриарших прудов. Дом Мамоновых также не горел.

После войны судьба графа Мамонова сложилась печально: он был основателем преддекабристского кружка «Орден русских рыцарей», отказался присягать Николаю I, был объявлен умалишенным. В 1830 году опекуны М.А. Дмитриева-Мамонова продали усадьбу казенной Глазной больнице, которая под новой вывеской существует в доме до сих пор. Переулок, на который усадьба выходила боковой межой, сохранил название Мамоновского.

В 1880-е годы низкие угловые скругления дома были надстроены до высоты центральной части.

В 1941 году здание развернуто на 90 градусов и перемещено по косогору в переулок, на новый фундамент и новый цокольный этаж. Арка центрального входа оказалась двухэтажной.