На Гороховом поле, на улице, названной в честь архитектора Казакова, располагается дом графа Алексея Кирилловича Разумовского, великолепный образец московского деревянного классицистического зодчества. Усадьба была построена на рубеже XVIII-XIX веков. Автором проекта называют и А.А.Менеласа, и Н.А.Львова, и Ч.Камерона. А в середине XIX столетия здание значительно расширили и перестроили уже под руководством А.Г.Григорьева.

Главный дом усадьбы был построен из деревянных брусьев: по мнению графа, камень был вреден для здоровья, именно поэтому при строительстве использовали дерево, обработанное штукатуркой под камень. Усадьба была окружена обширным парком с прудами и аллеями, его украшали беседки, скульптуры и оранжереи с экзотическими растениями. Внутреннее убранство дворца являлось не менее величественным: залы, отделанные бронзой и зеркалами, стены, украшенные дорогими гобеленами, подоконники из лазурита. Библиотека графа Разумовского поражала воображение обилием средневековых книг.

Во время наполеоновского нашествия по Москве разнёсся слух, что усадьба Разумовского сгорела дотла. На самом деле она совершенно не пострадала – здесь находилась одна из резиденций маршала Иоахима Мюрата, и французы тщательно охраняли дворец от пожара.

После смерти графа в 1822 году усадьба перешла к его старшему сыну, но в связи с отсутствием средств на содержание усадьбы, ее пришлось вскоре продать за символическую цену одесскому купцу Юркову. Сам купец распродал уникальную обстановку антикварным салонам Москвы, и прекрасная усадьба пошла по рукам.

Сначала ее выкупил Опекунский совет для устройства сиротского приюта, а с 1901 года здесь разместилась богадельня для заслуженных воспитательниц благотворительных учреждений ведомства императрицы Марии Федоровны. Несмотря на частую смену хозяев, дворец и парк находились в довольно неплохом состоянии, но с приходом советской власти началось постепенное разрушение усадьбы.

В 1920-е все сооружения комплекса были приспособлены для учебных помещений Института физической культуры.

Перед началом ремонтно-реставрационных работ особняк пребывал в аварийном состоянии: в 1999 году сгорело западное деревянное крыло второго этажа главного дома, в центральной, каменной части, были обрушены почти все перекрытия, штукатурный декор фасадов облез, а белокаменный был выветрен с утратами.

В ходе реставрации в 2012-2015 годах специалисты вернули фасадам главного дома исторические цвета: желтый и белый. Кровля окрашена в зеленый цвет. Масштабная реставрация была проведена в интерьерах особняка. В главных парадных залах и коридорах второго этажа восстановлен лепной декор плафонов, сделано золочение потолочных лепных карнизов. Отреставрированы белые изразцовые печи. Воссозданы печи в парадных помещениях с отделкой штукатуркой под "венецианский мрамор".

В настоящее время в доме Разумовского находятся Министерство спорта Российской Федерации и Центральный музей физической культуры.