Флигель усадьбы президента юстиц-коллегии и главного члена московской Монетной экспедиции Алексея Александровича Яковлева, деда революционера и писателя Александра Ивановича Герцена, был построен в 1770-х годах. Первоначально он был одноэтажным. Во время пожара 1812 г. он выгорел полностью и был восстановлен сразу после войны с французами.

В конце XVIII века владение купила Елизавета Михайловна Ермолова, сестра известного в Москве “последнего вельможи”, действительного тайного советника I класса князя Сергея Михайловича Голицына, дом которого был рядом. Около 1790 г. она вышла замуж за бывшего фаворита Екатерины II Александра Петровича Ермолова, которому принесла большое приданое. После переселения мужа около 1800 г. навсегда за границу Ермолова осталась в Москве и жила здесь. У нее воспитывался и с ней жил один только средний сын, Михаил, который после смерти матери также уехал во Францию. Е.М. Ермолова умерла в Москве 16 августа 1833 г. и погребена в Донском монастыре.

В 1831 г. государственная казна выкупила строение для нужд Первой мужской градской гимназии, которая в то время уже размещалась по соседству, на Волхонке, 16. В новых помещениях разместили, помимо гимназических классов, канцелярию учебного заведения и квартиру директора. В 1836 году, 7 мая, когда в гимназии должность директора занимал Матвей Алексеевич Окулов, у него в гостях побывал Александр Сергеевич Пушкин, который был близким другом Павла Воиновича Нащокина, родного брата жены Окулова. Факт посещения дома на Волхонке, 18 подтверждает сам Пушкин в письме поэту и публицисту П.А. Вяземскому.

С 1852 г. некоторую часть помещений отдали управлению учебного округа города Москвы. Для него флигель был надстроен вторым этажом. Учреждение оставалось здесь вплоть до революции 1917 г.

В 1872 г. в здании были открыты женские курсы профессора Владимира Ивановича Герье, первое в городе высшее учебное заведение такого рода. Здесь готовили будущих физиков и филологов, а также врачей.

В 1918 г. в здании разместили президиум Российской ассоциации научно-исследовательских институтов общественных наук (РАНИОН) и шесть научных заведений, находящихся под его эгидой, в т.ч. и Институт языка и литературы, который возглавлял Владимир Максимович Фриче. Ассоциацию упразднили в 1929 г., все институты перевели под крыло Коммунистической академии, которая и сама просуществовала лишь до 1936 г. В этом же году здание передали на баланс АН СССР. В настоящее время здание занимает Институт русского языка имени В.В. Виноградова.