Территория и застройка усадьбы сформировались в конце XVIII — начале XIX века на месте трёх небольших владений, выгоревших во время пожара в 1773 году. К 1823 году, когда городская усадьба принадлежала Шубиным, здесь уже существовал классический ансамбль, в основном сохранившийся до нашего времени: главный дом с деревянным вторым этажом и широким пятиоконным мезонином, стоящий на красной линии Малой Дмитровки, фланкированный флигелями, соединёнными с главным домом кирпичной оградой. Одноэтажный левый флигель, с надстроенной в 1834 году передней частью, замыкает двор усадьбы с севера; двухэтажный правый флигель, перестроенный в 1892 году архитектором В. Н. Карнеевым, имеет небольшое скругление и фиксирует угол Малой Дмитровки и Успенского переулка. В начале XIX века главный дом имел ампирный фасад и шестиколонный портик.

Здесь в 1833—1834 годах жил декабрист, участник Отечественной войны 1812 года М. Ф. Орлов, у которого бывали А. С. Пушкин и Е. А. Баратынский.

Во второй половине XIX века имение становится доходным: дом и флигели были поделены на квартиры, а в левом флигеле одно время помещалась пивная и винная лавки. Наружный вид усадьбы сохранялся до 1893 года, когда по проекту архитектора А. Е. Ниссельсона был разобран портик главного дома. В течение многих лет в доме находилась Рисовальная школа, влившаяся впоследствии в Строгановское училище, гимназия О. Н. Мещерской и другие учебные заведения. В 1890-х годах в доме действовало «Драматическое училище А. Ф. Федотова», «Музыкальные классы Н. С. Кленовского», читались платные публичные лекции об искусстве и литературе. В ноябре 1898 года родная сестра А. П. Чехова Мария Павловна сняла здесь, в «доме Владимирова» (правый флигель усадьбы), четыре маленьких комнаты, которые выходили в Успенский переулок, и переехала в них вместе с матерью. В начале апреля 1899 года по приезде из Ялты в квартире сестры ненадолго останавливался А. П. Чехов, сняв через несколько дней квартиру в доме Шешкова (Малая Дмитровка, дом 11).

В 1905 году по заказу домовладельца А. Е. Владимирова архитектором С. М. Жаровым усадьба была заново отделана с использованием на фасаде главного дома богатого лепного декора, но практически без изменений его ампирных членений. В подоконных нишах мезонина были оформлены тонкие панно на античные темы. В том же году подверглись реконструкции интерьеры — главным парадным помещением дома стал новый зал между дворовыми ризалитами, с богатым лепным плафоном, имитирующим резное дерево и асимметричным многоколонным вестибюлем. Обработка интерьеров главного дома в основном сохранилась до наших дней.

В 1905—1906 годах С. М. Жаров проводил также работы на северном флигеле (стр. 3), построенном в 1810-х годах.

В 1920-х годах здание занимал Московский институт журналистики (впоследствии Всесоюзный коммунистический институт журналистики им. «Правды» — ВКИЖ), среди преподавателей которого были А. В. Луначарский, А С. Бубнов, В. М. Фриче, М. С. Ольминский, Б. М. Волин, П. С. Коган и другие. В числе студентов института того времени были будущий драматург А. Н. Афиногенов и поэт И. П. Уткин.

В 1997 году Постановлением Московской городской думы здания главного дома, флигелей и служб были отнесены к перечню памятников истории и культуры разрешённых к приватизации. В мае 2007 года главный дом усадьбы, а также южный флигель и ограда с воротами, выходящими на Малую Дмитровку, приняты под государственную охрану как «выявленный объект культурного наследия», северный флигель также входит в предмет охраны. Северный флигель (стр. 3) внесён в Красную книгу Архнадзора (электронный каталог объектов недвижимого культурного наследия Москвы, находящихся под угрозой), номинация - запустение.