В 1700-х гг. владение принадлежало подьячему Поварской слободы Ивану Рябинкину. Около 1818 г. его приобрел князь С. Гагарин, который и начал строительство. Интересно, что долгое время авторство приписывалось О. Бове и лишь в 1975 г. в ходе научной реставрации (главный архитектор О. Череватая) было установлено авторство Д. Жилярди.

При строительстве необычно крупного для своего времени главного дома в его объем была включена более ранняя постройка. Поэтому и расположено здание в глубине парадного двора. Нетипичность его проявляется и в оформлении фасада тремя арочными нишами на уровне второго этажа, а не типичной для ампира колоннадой. Дом украшают орнаментальные вставки-горельефы с изображением орлов и лавровых венков, богато декорированный фриз под центральным фронтоном. Замковые камни первого этажа украшены маскаронами в виде львиных масок, изготовленными по типовому образцу Г. Замараева.

Необычно здание и внутри. Центральное место занимает парадная лестница под световым фонарем, которая ведет на второй этаж, где расположен большой танцевальный зал, аванзал и анфилада открытых гостиных, парадного кабинета и ряда иных помещений. Комнаты оформлены колоннами из искусственного мрамора с изысканными капителями, богатой лепниной и скульптурными композициями (в т. ч. работы И. Витали и С. Кампиони). В парадном кабинете сохранился беломраморный камин с высоким зеркалом, украшенный барельефными изображениями крылатых женских фигур на шаре и с лавровым венком в руке — аллегорические символы Победы.

Одновременно с главным домом было возведено и одноэтажное каменное здание манежа в глубине двора.

Согласно чертежам нач. XIX в., усадьба располагала оранжереями, хозяйственными помещениями, беседками, располагавшимися в саду за домом.

После окончания строительства Гагарин продает усадьбу конезаводчику и меценату Охотникову, который переуступает ее в 1843 г. Управлению Московского государственного коннозаводства. Здесь неоднократно проходили выставки-продажи лошадей. В главном доме были размещены квартиры служащих. В одной из них в 1875 г. поселился управляющий Императорскими конными заводами в Туле и Москве генерал-майор Л. Гартунг с супругой — старшей дочерью А.С. Пушкина. А в 1877 г. произошла трагедия: ложно обвиненный в хищении, генерал застрелился прямо в здании окружного суда. Мария Гартунг не вышла больше замуж, но прожила долгую жизнь и умерла в 1919 г. в Москве, так и не успев получить персональную пенсию, назначенную ей Луначарским.

После революции здесь разместились военные курсы, конная база Совнаркома и Интернациональная ленинская школа. А в 1930-е гг. сюда въехало Кавалерийское училище им. Буденного, занятия которого посещали Василий Сталин и сыновья Анастаса Микояна.

В 1937 г. дом передают Институту мировой литературы им. Горького АН CCCP, который размещается здесь и сегодня. Перед центральным входом в 1957 г. установили памятник Горькому работы В. Мухиной и А. Заварзина.