Самая устойчивая легенда гласит, что принадлежали эти палаты царю Ивану IV Васильевичу и были его охотничьим дворцом. И якобы вел из него подземный ход, по которому грозный царь, переодетый в смерда, выбирался тайком «в народ» подслушивать сплетни о самом себе.

Документальных подтверждений этому нет. Бесспорно одно: на рубеже XVI и XVII веков (именно этим периодом датируется древнейшая часть памятника, подклетный этаж крайней правой, если смотреть со стороны переулка, палаты) на окраине Москвы уже стоял красавец терем.

Достоверная история его относится к более поздней эпохе. Вероятно, в конце XVII века Петр I подарил терем своему сподвижнику, дипломату, вице-канцлеру барону Петру Шафирову. В 1723 году он принимал здесь царя, о чем сохранилась запись в походном журнале Петра I. В том же году владельцем усадьбы стал еще один петровский сподвижник – начальник Тайной канцелярии, граф Петр Андреевич Толстой. При Петре II Толстой был сослан на Соловки, а палаты отошли к ближайшему помощнику князя А. Меншикова, обер-секретарю Военной коллегии Алексею Волкову. Владел он ими менее года, но дом часто называют его именем – «Палаты боярина Волкова». Хотя боярином Волков никогда не был.

После падения Меншикова усадьбу у Волкова отобрали. Петр II пожаловал ее своему доверенному человеку, подполковнику Преображенского полка Григорию Юсупову-Княжево. С тех пор и до самой революции дворец находился в семье Юсуповых.

Архитектурный ансамбль каменных палат формировался веками и представляет собой несколько отдельных теремов на подклетах, с сенями и наружными крыльцами.

В XVIII веке при князе Николае Борисовиче Юсупове усадьба была существенно расширена. Был разбит сад с оранжереями, устроен известный во всей Москве Юсуповский театр. Напротив дворца, в специальном доме, устраивались светские приемы. В 1801-03 годах во втором этаже левого флигеля Юсуповского терема нанимал квартиру отец Пушкина Сергей Львович. Будущий поэт гулял в юсуповском саду. Добрые отношения с Н.Б. Юсуповым Пушкин поддерживал и в зрелые годы.

Усадьба неоднократно перестраивалась. В конце ХIХ века под руководством архитектора В. Померанцева была перестроена западная часть палат, изменен декор фасадов, стилизованный под XVII век, и внутренняя планировка, палаты надстроены третьим этажом. В 1890-е годы по инициативе княгини Зинаиды Николаевны архитектор П. Султанов восстанавливал внешний облик палат и создавал интерьеры парадных залов второго этажа. Крыши стали более крутыми, а их скаты расписали «в шахмат». Фасады получили полихромную окраску, выдержанную в цветовой гамме интерьеров. Со стороны двора пристроено новое парадное крыльцо. В доме заново сделали все печи и покрыли подлинными антикварными изразцами.

После революции дом был захвачен анархистами, потом здесь устроили музей дворянского быта, затем Военно-исторический музей. С 1928 года в здании побывало несколько организаций, позже сюда въехала Сельскохозяйственная академия, чьей преемницей стала Российская академия сельскохозяйственных наук.

Во второй половине 2000-х годов была проведена реставрация по проекту института «Спецпроектреставрация». Дворцу вернули примерно тот вид, какой он имел перед революцией. Сейчас в части здания расположен музей «Палаты Волковых-Юсуповых».