Первое архивное изображение дома № 3/5 по Спиридоновке относится к 1764 году, однако проведенные в 1970-х гг. археологические исследования выявили, что еще в конце XVII века на этом месте были возведены каменные палаты. 

Предполагают, что здесь располагались мастерские по производству разрывных артиллерийских снарядов, находившиеся в ведомстве Пушкарского приказа (с 1701 года – Артиллерийского приказа). Здесь же находился склад для хранения боеприпасов. Отсюда наименование – Гранатный двор. Кроме того память об этих мастерских сохраняется в названии Гранатного переулка, который примыкает к Спиридоновке вблизи от того места, где находятся палаты. 

Есть сведения, что двор собирались перенести подальше от города, но по тем или иным причинам задуманное так и не было исполнено. В 1712 году в Москве произошел большой пожар, сильно пострадал и Гранатный двор. Взорвались пороховые склады, здание практически превратилось в руины. Тем не менее, часть стен сохранилось, и их использовали при возведении новой постройки. 

Существует другая версия, согласно которой у палат было не производственное, а административное назначение. Они являлись приказным корпусом для проживания чиновников военного ведомства на территории "Гранатного двора". Сам же двор, скорее всего, располагался ниже по переулку. 

Культурный слой палат XVI в.—XVII в. является памятником археологического наследия федерального значения и охраняется государством.

Так или иначе, здание нуждалось в перестройке и вновь возведенное на этом месте строение, почти не напоминало те палаты, что стояли здесь до пожара. Об их существовании напоминали лишь кирпичные своды в нижнем этаже, оставшиеся местами оконные проемы и фрагменты декора. Согласно архивным данным в середине XVIII века домовладение принадлежало князю М.С.Долгорукому, позже здесь селились купцы, а затем был дом причта церкви "Большое Вознесение".

В 1930-е гг. здание подвергалось неоднократным переделкам, причиной которых стало, прежде всего, устройство здесь коммунального жилья. В 1973 году, когда, в ходе предварительных реставрационных работ по восстановлению памятника, находившегося к тому моменту в плачевном состоянии, были обнаружены свидетельства, позволившие определить датировку здания, было принято решение вернуть палатам первоначальный облик конца ХVII – нач. ХVIII вв.. Работы по реставрации проводились здесь в 1970-х и в 1990-х гг.

Реставраторы воссоздали планировку здания того периода, сводчатые перекрытия этажей, высокую вальмовую кровлю. Со стороны восточного фасада восстановили каменное крыльцо с шатровой кровлей, а вдоль западного фасада – двухэтажную галерею (гульбище), оформленную аркадой в первом этаже.

Фасады палат украшает белокаменный декор, довольно скупой, что говорит в пользу производственного назначения здания: трехчастный карниз опоясывает здание, оконные и дверные проемы обрамлены широкими профилированными наличниками, вертикальный ритм здания поддерживают плоские лопатки.