Эта усадьба на Петровке окончательно оформилась во второй половине XIX века, однако главный дом построен столетием раньше самим, как считают многие, М. Ф. Казаковым. Но здание проектировал не Матвей Федорович, а его ученик. В известные альбомы Казакова включены три ученических проекта, в том числе и этот, что является своего рода высочайшей оценкой мастера. Сам дом не был возведен с нуля, это перестройка-разворот более старого, стоявшего к Петровке торцом, отсюда и примечаемая асимметрия крыльев.

Первоначально усадьбой владел купец Кирьяков. Во дворе помещался большой пруд, окруженный огородом с оранжереями. Кирьяков продавал семена овощей и цветов; кроме того, владел текстильными фабриками, числился «именитым гражданином» по грамоте 1785 года и состоял в родстве с владельцем соседней усадьбы — купцом Губиным, чей дом действительно выстроен М.Ф. Казаковым.

В 30-х годах XIX века кирьяковская усадьба перешла к видному коллекционеру П.Ф. Карабанову. Михаил Погодин так описывал его: «Кто бы мог поверить, что в Москве, где столько любителей и знатоков, есть еще огромные собрания, не описанные и почти неизвестные... Глазам своим не верил я, видя перед собою многочисленные сокровища, собранные с таким знанием дела и в такой полноте, сохраняемые в таком порядке: сосуды, чаши, братины, чарки, ложки, образа, кресты, серьги, перстни, медали, монеты, рукописи, столбцы, рисунки, книги, автографы, портреты. Взоры мои перебегали от одних предметов к другим, и я не знал, на чем остановиться, так все любопытно, важно, ново. Между тем достопочтенный хозяин, который знал лично князя Щербатова, Елагина, Миллера, Панина, Потемкина, слыхал о Бибикове, Суворове, был дружен с Мусиным-Пушкиным, рассказывал любопытные подробности обо всех этих незабвенных для русской истории лицах: слушать его доставляло такое же удовольствие, как и разглядывать его редкости».

Павел Федорович Карабанов — знаток русской истории, собиратель, родственник самого Потемкина, муж княжны Гагариной, знал близко многих знатных людей своего времени. И даже составил их биографии. Кроме того, опубликовал список градоначальников Москвы, а свою уникальную коллекцию подарил правительству. После смерти Карабанова в 1851 году были напечатаны его «Русские исторические анекдоты, преимущественно с XVIII века», «Статс-дамы и фрейлины русского двора в XVIII и XIX веках» и «Списки замечательных лиц русских», дополненные князем П. В. Долгоруковым.

Усадьба же побывала во владении князя М. А. Оболенского, руководителя Московского архива Министерства иностранных дел; затем тут помещалось Мариинское училище; в конце 1880-х в доме поселился известный клиницист К. М. Павлинов. В августе 1892 года, в одном из дворовых флигелей (что выходят в переулок), открылась первая в Москве зубоврачебная школа. В 1908 году здесь же обосновались Третья московская зубоврачебная школа и Первая Московская механическая лечебница Цандеровского института, она же Бальнеологическая лечебница № 1.

Лечебница просуществовала довольно долго, в советское время она стала называться физиотерапевтической поликлиникой. В годы перестройки в доме открылся медицинский кооператив «Оздоровление», который согласно рекламе «со старых, больных людей не брал ни копейки». Сейчас здание занимает Страховая компания правоохранительных органов.