Хотя дом сменил множество хозяев, он не подвергался переделкам. По адресным книгам удалось установить, что в середине XIX века усадьба принадлежала Римским-Корсаковым.

В 1874 году усадьба записана на Софью Петровну Нарышкину, жену статского советника, блестящего камергера Константина Павловича Нарышкина. Их брак наделал много шума в высшем обществе Москвы. Дело в том, что Нарышкин долгое время состоял в связи с матерью своей будущей жены, известной московской красавицей М. Ушаковой, и даже имел с ней сына, но в конце 1840-х женился на ее дочери, Софье. Дама эта осталась в воспоминаниях современников как женщина красивая, но жестокая. Известный парикмахер говорил о ней: «Когда я её причесываю, она втыкает шпильки в руки своих горничных, будто это подушечки для булавок! Знаете, это очень злая дама».

В 1896 году усадьба принадлежала Плотицыным. Можно лишь гадать, имеют ли они отношение к представителям скопческой общины Плотицыным, героям нашумевшего Моршанского дела 1868 г. Видимо, при них был пристроен парадный подъезд с левой стороны особняка, который несколько нарушил симметрию дома.

В 1901 году домом владела Татьяна Алексеевна Мамонтова (ур. Хлудова), вдова потомственного почетного гражданина А.Н. Мамонтова, двоюродного брата С.И. Мамонтова.

Сейчас сложно установить, в какой момент усадьба переходит к богатому домовладельцу Василию Степановичу Баскакову. В начале 1900-х Василий и Иван Баскаковы в Москве владели множеством домов. На принадлежащих им участках они строили доходные дома в стиле модерн, но усадьбу на Никитской перестраивать не стали. В 1910-х здесь можно было снять квартиру внаем.

В 1917 г. одну из квартир здесь снимал с женой Софьей основоположник теории анархизма П. Кропоткин. Видимо, в этом доме их и застала революция. Октябрьские бои шли совсем близко отсюда.

После революции В.С. Баскаков потерял все свои владения, жил с семьей в одном из своих домов в 12-метровой комнате, умер в 1938 году в Москве, похоронен на Немецком кладбище.