Главный дом усадьбы президента юстиц-коллегии и главного члена московской Монетной экспедиции Алексея Александровича Яковлева, деда революционера и писателя Александра Ивановича Герцена, был построен в 1770-х годах. Первоначально он был одноэтажным. Позднее он принадлежал двум известным русским фамилиям – князю Николаю Федоровичу Лодыженскому, генерал-лейтенанту и участнику взятия Парижа, и семье дворян Столыпиных.

В конце XVIII века владение купила Елизавета Михайловна Ермолова, сестра известного в Москве “последнего вельможи”, действительного тайного советника I класса князя Сергея Михайловича Голицына, дом которого был рядом. Около 1790 г. она вышла замуж за бывшего фаворита Екатерины II Александра Петровича Ермолова, которому принесла большое приданое. После переселения мужа около 1800 г. навсегда за границу Ермолова осталась в Москве и жила здесь. Во время пожара 1812 г. дом выгорел полностью и был восстановлен сразу после войны с французами. Он был надстроен еще одним этажом. Его портик с колоннами был заменен на пилястровый. Фронтон убрали. Е. Ермолова умерла в Москве 16 августа 1833 г. и погребена в Донском монастыре.

В 1831 г. государственная казна выкупила строение для нужд Первой мужской градской гимназии, которая в то время уже размещалась по соседству, на Волхонке, 16. Кажется, вся интеллектуальная элита Первопрестольной вышла из этих стен. Здесь учились выдающиеся русские историки Сергей Соловьев и Михаил Погодин, драматург Александр Островский, писатель и теоретик анархизма Петр Кропоткин, профессора Н.В. Бугаев и Н.А. Умов, врач В.П. Сербский.

В новых помещениях разместили гимназические классы и канцелярию. В 1852 г. некоторую часть помещений отдали управлению учебного округа города Москвы. В 1872 году в здании открылись женские курсы профессора Владимира Ивановича Герье – первое в городе высшее учебное заведение такого рода. Здесь готовили будущих физиков и филологов, а также врачей.

В 1918 г. в зданиях по Волхонке, 18 разместили президиум Российской ассоциации научно-исследовательских институтов общественных наук (РАНИОН) и шесть научных заведений, находящихся под его эгидой, в т.ч. и Институт языка и литературы, который возглавлял Владимир Максимович Фриче. Ассоциацию упразднили в 1929 г., все институты перевели под крыло Коммунистической академии, которая и сама просуществовала лишь до 1936 г. В том же году здание передали на баланс АН СССР. В настоящее время здание занимает Институт русского языка имени В.В. Виноградова.

К концу 2018 г. был завершен первый этап работ по сохранению объекта — проведены противоаварийные работы. Специалисты укрепили конструкции дома. Теперь помещение полностью готово к основному этапу реставрации.