Классическая усадьба на углу Козицкого переулка и Большой Дмитровки имеет очень долгую историю. Началась история усадьбы в конце 1780-х годов, когда отставной генерал-поручик Федор Матвеевич Шестаков купил на этом месте несколько владений и заказал построить каменный дом архитектору Матвею Казакову.

Первоначально была возведена правая часть дома, ее фасад зрительно легко вычленяется до сих пор — он обработан вертикальными нишами. С левой стороны участка был возведен жилой флигель с узеньким фасадом в три окошка. Крупный монументальный ритм чередования выступающих простенок и ниш стал основой композиции всех фасадов. Изящным украшением стала лепнина. На втором этаже над окнами оставлена сравнительно широкая полоса, где размещены крупные симметричные орнаментальные композиции, а над окнами портика — головки в рамах в форме ромбов и розетки по углам ниш. Дом выглядит нарядным, подчеркнуто стройным. Изящные орнаментальные композиции над окнами очень похожи на рельефы парадных интерьеров за ними. Вход в особняк был изначально устроен в торцевом фасаде, при подъезде от Тверской улицы. В центре находилась лестница на второй этаж, второй вход вел в прямой коридор вдоль всего здания, по его сторонам располагались достаточно крупные (в три окна) помещения.

Шестаков не успел пожить в новом доме. После его смерти особняк наследовал его родственник - провиантмейстер Василий Дмитриевич Лобков. А после смерти В.Д. Лобкова в 1795 году — его вдова Анна Ивановна Лобкова. Она владела большим состоянием. При ней была достроена вся усадьба и увеличен объем главного здания.

В 1800 году разрыв между флигелем и главным домом по красной линии улицы был застроен узким двухэтажным корпусом, расширенным уже в 1805 году. Перестройка сделала подъезд к дому более удобным. Свод закрыл пространство от непогоды, новые помещения у лестницы позволили устроить вестибюль и гардеробную для гостей. В это же время по задней границе владения возвели одноэтажные хозяйственные постройки.

Анна Ивановна Лобкова в 1803 году в Риге родила сына от помещика Александра Николаевича Соймонова. Мальчику купили польскую дворянскую фамилию Соболевский, под которой он хорошо известен. Сергей Соболевский прожил в доме матери до 15 лет, после чего был отправлен в пансион в Петербурге, где познакомился с Львом Пушкиным, а затем и с его братом - Александром Пушкиным и подружился с ним до конца его дней. Не раз он спасал его от дуэлей. В.А. Соллогуб считал, что если бы Соболевский в 1837 году был в Петербурге, то роковая дуэль не состоялась.

Дом благополучно пережил пожар 1812 года и сохранил изысканную атмосферу дворянского особняка ранней александровской эпохи.

Сохранились планировка дома, отделка некоторых интерьеров. Среди них выделяется гостиная второго этажа с овальным альковом, стены которого раскрепованы полукруглыми в плане нишами, а кессонированный свод покоится на легких ионических колонках, выполненных из искусственного мрамора. Бесхитростность сочетания в единой фасадной композиции трех различно трактованных (вследствие времени своего возведения) частей — специфическая черта московской классической архитектуры, ее патриархальности, сопротивляющейся частым изменениям в угоду моде.

В 1827 году Анна Лобкова умерла, и так как она не оставила завещания в пользу внебрачного сына, дом достался ее сестре и племянникам. В 1828 году Сергей Соболевский, оформив все дела с наследством, надолго покидает Россию.

В 1856 году домом владел архитектор Михаил Осипович Лопыревский. В это время у него дом снимает Екатерина Петровна Риччи, дочь Михаила Лунина - владельца классической усадьбы на Никитском бульваре. В молодости она была певицей, но тут поселяется, когда уже давно не поет, муж – итальянский тенор – от нее ушел. В Козицком она живет с матерью в весьма стесненных обстоятельствах. Дом на Никитском они давно продали в казну. Но и на жизнь в Москве им скоро перестало хватать денег, и они переехали в имение к родственникам.

Дом Лопыревского в Козицком - это и первый адрес известного историка В. Ключевского в Москве. И артиста И.В. Самарина. В конце 19 века здесь была устроена типография Московского городского общественного управления.

С 1960 года в этом здании находится Институт Искусствознания Академии Наук, поддерживающий особняк в великолепном состоянии.

Здание реставрировано по проекту архитектора А.В. Оха.