В день переворота Екатерина II появилась перед гвардейскими частями в мундире с чужого плеча. Появиться в дамском платье она не сочла возможным, а времени на пошив мундира не было. Пришлось «одолжиться» у подпоручика Семеновского полка Александра Талызина. Впоследствии этот мундир, украшенный Андреевской звездой, был возвращен хозяину. А Талызин почти через четверть века, выйдя в отставку действительным камергером и тайным советником, поселился в Москве и приобрел у грузинского царевича Георгия Багратиони двор на Воздвиженке (современный дом № 5/25).

Документальная история этого владения прослеживается с 1620-х годов. Тогда участок был поделен между подворьем Псковского Печерского монастыря и дворянином И. Писемским. В середине века здесь располагалась усадьба боярина Ивана Милославского, родственника царя Алексея Михайловича. В 1659 году казна приобрела его двор для размещения Нового аптекарского двора. В 1670-е годы здесь началось активное строительство под руководством «дворцовых каменных дел подмастерского сына» Гурия Варфоломеева. Вдоль Шуйского (ныне Староваганьковского) переулка возвели дошедшую до наших дней Трапезную палату Аптекарского двора. В начале XVIII века, после переезда Аптекарского двора в Мещанскую слободу, владение перешло к известному петровскому дипломату В. Долгорукому. Возможно, именно при нем был построен дворовый корпус, известный как «Дом садовника». При императрице Анне Иоанновне Долгорукий был арестован, его двор передан «царю грузинскому Вахтангу», лишившемуся престола Картли и переехавшему в Россию. В это время появился каменный дом на углу Воздвиженки и Староваганьковского переулка, вероятнее всего, по проекту П. Еропкина. Возможно, эта палата частично сохранилась в объеме современного дома.

У наследников Вахтанга VI и приобрел усадьбу А. Талызин. К 1787 году по красной линии Воздвиженки было поставлено трехэтажное здание с двумя флигелями. Автор проекта неизвестен. По одной из версий, это был М.Ф. Казаков. Ансамбль усадьбы Талызиных зафиксирован в его «Архитектурных альбомах».

Двор принадлежал Талызиным до 1805 года, затем был продан купцам Устиновым. Усадьба была существенно перестроена, появились двухэтажные переходы между главным домом и флигелями. Фасады получили ампирную отделку. При Устиновых особняк стал одним из культурных салонов Москвы. Их музыкальные вечера посещали братья Вяземские, Денис Давыдов. Бывал здесь и Пушкин. Известный британский актер и режиссер сэр Питер Устинов – представитель этой фамилии.

В 1845 году владение было продано Министерству финансов и здесь поселились Московское уездное казначейство и Московская казенная палата. В середине 1890-х годов боковые части главного дома были надстроены третьим этажом, здание приобрело нынешние формы.

В 1920 году в особняк въехал Секретариат ЦК РКП (б). Здесь находились рабочие кабинеты Сталина и секретарей ЦК Молотова и Куйбышева. Затем в здании попеременно располагались Госплан СССР и Министерство юстиции. В 1930 годы усадьбу превратили в общежитие, потом в коммунальное жилье. Серьезно пострадали интерьеры.

Сразу после Великой Отечественной войны часть здания была передана вновь созданному Музею русской архитектуры. Начавшаяся реставрация осложнялась тем, что в доме продолжали жить люди. Последний жилец выехал в январе 1961 года.

Музейный комплекс составляют: Главный дом усадьбы с флигелями; Трапезная палата Нового аптекарского двора (служебный флигель); бывший Конюшенный корпус (служебный флигель, флигель «Руина»); «Дом садовника».