Здесь в 1833—1834 годах жил декабрист, участник Отечественной войны 1812 года М. Ф. Орлов, у которого бывали А. С. Пушкин и Е. А. Баратынский.
Во второй половине XIX века имение становится доходным: дом и флигели были поделены на квартиры, а в левом флигеле одно время помещалась пивная и винная лавки. Наружный вид усадьбы сохранялся до 1893 года, когда по проекту архитектора А. Е. Ниссельсона был разобран портик главного дома. В течение многих лет в доме находилась Рисовальная школа, влившаяся впоследствии в Строгановское училище, гимназия О. Н. Мещерской и другие учебные заведения. В 1890-х годах в доме действовало «Драматическое училище А. Ф. Федотова», «Музыкальные классы Н. С. Кленовского», читались платные публичные лекции об искусстве и литературе. В ноябре 1898 года родная сестра А. П. Чехова Мария Павловна сняла здесь, в «доме Владимирова» (правый флигель усадьбы), четыре маленьких комнаты, которые выходили в Успенский переулок, и переехала в них вместе с матерью. В начале апреля 1899 года по приезде из Ялты в квартире сестры ненадолго останавливался А. П. Чехов, сняв через несколько дней квартиру в доме Шешкова (Малая Дмитровка, дом 11).

В 1905 году по заказу домовладельца А. Е. Владимирова архитектором С. М. Жаровым усадьба была заново отделана с использованием на фасаде главного дома богатого лепного декора, но практически без изменений его ампирных членений. В подоконных нишах мезонина были оформлены панно на античные темы. В том же году подверглись реконструкции интерьеры — главным парадным помещением дома стал новый зал между дворовыми ризалитами, с богатым лепным плафоном, имитирующим резное дерево и асимметричным многоколонным вестибюлем. Обработка интерьеров главного дома в основном сохранилась до наших дней.

В 1905—1906 годах С. М. Жаров проводил также работы на северном флигеле (стр. 3), построенном в 1810-х годах.

В 1920-х годах здание занимал Московский институт журналистики (впоследствии Всесоюзный коммунистический институт журналистики им. «Правды» — ВКИЖ), среди преподавателей которого были А. В. Луначарский, А С. Бубнов, В. М. Фриче, М. С. Ольминский, Б. М. Волин, П. С. Коган и другие. В числе студентов института того времени были будущий драматург А. Н. Афиногенов и поэт И. П. Уткин.

В 1997 году постановлением Московской городской думы здания главного дома, флигелей и служб были отнесены к перечню памятников истории и культуры разрешённых к приватизации. В мае 2007 года главный дом усадьбы, а также южный флигель и ограда с воротами, выходящими на Малую Дмитровку, приняты под государственную охрану как «выявленный объект культурного наследия», северный флигель также входит в предмет охраны.