И.Н. Римский-Корсаков прославился тем, что во времена правления Екатерины II, по словам Щербатова, «приумножил бесстыдство любострастия в женах». Корсаков сделал блестящую карьеру при Екатерине II, был её фаворитом целых 16 месяцев, кавалером ордена Белого Орла, генерал-адъютантом самой государыни, но навлек гнев государыни, похитив жену известного обер-камергера А.С. Строганова.

Императрица писала: «Его следовало бы брать как модель всем скульпторам, живописцам; все поэты должны воспевать красоту Римского-Корсакова». Пыляев же уверяет, что Корсаков был более любезен, чем красив, а легкомыслие и доброта довершали портрет.

Римский-Корсаков и Строганова поселились на Тверском бульваре в соседних усадьбах. Прожили они в мире и согласии 45 лет до самой смерти Екатерины Николаевны и имели двоих детей, которые были записаны как воспитанники возлюбленной пары. Иван Николаевич был отменный музыкант и имел самую дорогую в России скрипку. Москва полюбила его за чудачества, и про него ходило много анекдотов. Поговаривали, что у него в деревне в доме не только слуги, но и люди гостей пивали шампанское. Так же имел он у себя огромную библиотеку. Для её покупки Корсаков вызвал к себе книгопродавца, но на вопрос того, какие он желал бы иметь книги, Иван Николаевич ответил: «Об этом я уже не забочусь, это ваше дело, внизу должны стоять большие книги, и, чем выше, тем меньшие, точно так, как у императрицы».

После смерти гражданской жены, Иван Николаевич часто подолгу сидел перед её портретом. Погрустив, доставал заветную шкатулку с письмами Екатерины II, вздыхал их аромат и медленно перечитывал. Затем вынимал часы, подаренные ему Императрицею с её портретом и жемчужной надписью: «1 мая 1778» – день их встречи и день их первого поцелуя. Пушкин, бывая в Москве, захаживал сюда послушать рассказы о Екатерине, Потемкине и былых временах.

После смерти Римского-Корсакова в права наследства вступил его сын, Ладомирский В.Н. Фамилию и отчество Василий Николаевич получил от императрицы: он вырос как воспитанник своего отца. По другой легенде фамилия ему и сестре Варваре была пожалована императором Павлом.

В XX века в усадьбе был уже другой хозяин. Адресные книги называют дворянина Яголковского А.А. По иронии судьбы накануне революции дом приобретает известный авантюрист, шпион и друг Григория Распутина Дмитрий Рубинштейн или, как его называл Распутин, Митька. Соседний дом принадлежит убийце Распутина Ф. Юсупову.

Дом горел в 1812 году, потом был перестроен. Усадьбу дополнил ряд небольших служебных строений, вытянутых по линии переулка и бульвара. Тогда появились замкнутые дворы, которые были скрыты фасадом. Ампирный парадный фасад ничем не выдавал путаницы дворовых построек.

В советское время в доме были коммуналки. Только в 1974 году удается начать реставрацию и изучение здания. В эти годы проведена тщательная, скрупулезная работа, которая выявила неоспоримые доказательства того, что дом является уникальным памятником истории Москвы. Его стены сохранили кладку конца XVII века. Во многих помещениях второго этажа, которые тоже были палатными, сохранилась великолепная роспись первой четверти XIX века.

Были проведены работы по сохранению и упрочнению живописи, фундамента и несущих конструкций здания. В период с 1990 по 1994 год был отреставрирован весь комплекс фасадов, выходящих на Тверской бульвар. По выявленным следам восстановлена первоначальная конфигурация кровель.

Но дому не повезло. Владение перешло в другие руки и было разрушено по прихоти нового хозяина. Назначение, которое получило историческое здание, предполагало постройку подземного гаража, а так же новых интерьеров. В начале 2000‑х здание было снесено. На данный момент от памятника федерального значения остался только фасад. Оплакать судьбу дома можно здесь же, в ресторане «Пушкинъ».