Это здание, изначально двухэтажное, было выстроено в 1764-72 годах архитектором М.Ф.Казаковым. Он сохранил при строительстве особняка фрагменты старинных палат, которыми владели еще в начале XVIII века кабинет-секретарь Петра I А. В. Макаров и князь Д.А. Кольцов-Мосальский. В 1771 году императрица Екатерина II за подавление чумного бунта пожаловала П.Д. Еропкину вотчины и 4000 крепостных душ, но он отказался, за что стал пользоваться еще большим уважением у москвичей. П.Д. Еропкин не принял также приглашения переехать в дом на Тверской, предназначенный для генерал-губернаторов, и остался жить в своем особняке.

Помещения этого дома отличались необыкновенной роскошью, здесь была даже своя домовая церковь. Еропкины славились гостеприимством: всякий гость был радушно принят и накормлен. В этом особняке происходили блестящие балы, где нередко бывал в детстве А.С. Пушкин. После смерти своих хозяев дом перешел во владение племянников Еропкиных - Новосильцовых, а затем к князьям Гагариным.

В 1806 году здание было продано за 35 тысяч рублей Московскому купеческому обществу, оно открыло Коммерческое училище для обучения детей мещан и купцов коммерции. Здесь преподавались не только профессиональные дисциплины, но и гуманитарные. Знаменитыми воспитанниками тех лет были физик С.И. Вавилов, писатель И.А. Гончаров, генетик Н.И. Вавилов и др.

В 1807-1808-х годах архитектор Д. И. Жилярди здание перестроил и расширил. После пожара 1812 года дом пришлось восстанавливать. Здание приобрело третий этаж, классический фасад и портик. В 1817 году в здании была устроена церковь Марии Магдалины, где сейчас можно увидеть росписи Васнецова и Нестерова. В 1820 году здесь родился историк С.М. Соловьев. В 1847 году здание также получило пристройку для спален и классов воспитанников. Таким здание дошло до наших дней.

Во время Великой Отечественной войны дом чудом уцелел - сброшенная во двор бомба оказалась начинена песком. После войны в сквере напротив был установлен памятник «Воину-ополченцу», посвященный тем, кто ушел отсюда на фронт. В 1930 году здесь был основан Московский институт новых языков. На протяжении многих лет название этого учебного заведения неоднократно менялось, и ныне здание носит имя Московского государственного лингвистического университета.