Ансамбль классической усадьбы на Малой Дмитровке складывался на протяжении второй половины XVIII – XIX веков.

Главный усадебный дом расположен в глубине участка, на красную линию улицы выходят два симметрично стоящих флигеля, соединенные с домом арочными переходами. Своим изящным дорическим портиком дом обращен в курдонер, отделенный от улицы оградой с воротами. В основе главного дома – палаты середины XVIII века, перестроенные в классический усадебный дом в 1780‑х годах предположительно по проекту архитектора Николая Александровича Львова.

В первой половине XIX века усадьбой владел помещик Александр Николаевич Соймонов, племянник статс-секретаря Императрицы Екатерины II Петра Александровича Соймонова. В усадьбе в это время часто бывал и жил известный литератор, поэт и библиофил Сергей Александрович Соболевский, внебрачный сын А.Н. Соймонова (отец «за значительное денежное пожертвование» приписал сына к польскому дворянскому роду Соболевских).

Соболевский был известен как коллекционер редких книг, библиограф, знаток многих языков, журналист, а также как автор язвительных эпиграмм («неизвестный сочинитель всем известных эпиграмм»). Он был близким другом Александра Сергеевича Пушкина, который, вероятно, также посещал усадьбу на Малой Дмитровке. С Пушкиным он познакомился, когда ему было 15 лет, и это знакомство быстро переросло в крепкую дружбу. Соболевский был литературным советчиком Пушкина, помогал поэту издавать его произведения, привозил ему из-за границы новые книги (в том числе запрещенные в России сочинения Адама Мицкевича); несколько раз он спасал Пушкина от дуэльных поединков, выступая в роли миротворца. По мнению многих, Соболевский был единственным, кто мог бы предотвратить роковую дуэль Пушкина с Дантесом, но «к несчастью, Соболевский в тот год в Европах жил». После гибели Пушкина он хлопотал о материальной помощи для его семьи, потом занимался публикацией пушкинских писем и материалов для его биографии.

Соболевский общался и дружил также с Евгением Баратынским, Дмитрием Веневитиновым, Петром Киреевским, Владимиром Одоевским и другими, а также с представителями младшего поколения писателей – Николаем Гоголем, Иваном Тургеневым, Львом Толстым.

В 1820‑х годах в усадьбе жил также Михаил Фотиевич Митьков, приходившийся Соймонову племянником. Герой войны 1812 года, участник взятия Парижа в 1814 году, полковник, он позже стал активным членом Северного тайного общества; здесь, у него на квартире, проходили некоторые собрания будущих декабристов. После подавления восстания на Сенатской площади, Митьков был арестован и приговорен судом к каторжным работам. Он был сослан в Сибирь, где после отбытия каторги поселился в Красноярске и занимался метеорологией до самой смерти в 1849 году.

В 1850‑х годах усадьба на Дмитровке перешла к новой хозяйке – жене гвардии ротмистра В.Д. Ладыженской. При ней были несколько переделаны фасады усадьбы, в частности тосканский портик главного дома был заменен на дорический. В 1870‑х годах, при новом владельце губернском секретаре А.В. Каншине, парадные интерьеры главного дома были частично перепланированы и переделаны по проекту архитектора Августа Вебера.

В советские годы усадьба была отдана под административные цели, здесь на протяжении многих десятилетий размещался Свердловский райком КПСС.

В 2000‑х годах была проведена научная реставрация усадьбы. В главном доме отреставрировано и восстановлено внутреннее убранство интерьеров XIX века – парадная анфилада помещений первого и второго этажа с лепной отделкой интерьеров, росписью стен и потолков (в том числе «помпейской» росписью парадной лестницы), пилястрами из искусственного мрамора, деревянными панелями, печами и мраморными каминами, паркетными полами.