В 17 веке эти владения принадлежали боярину Никите Романову, родственнику царя. Наследников у него не было, и палаты перешли к его племяннику, царю Алексею Михайловичу. Женившись вторым браком на Наталье Нарышкиной, царь отдал двор ее брату Льву Кирилловичу. Его сын Иван в 1730 году выстроил тут палаты. Его дочь Екатерина вышла замуж за графа Кирилла Разумовского, младшего брата фаворита императрицы Елизаветы Петровны. При нем возник этот удивительной красоты комплекс, состоящий из главного дома и двух выступающих боковых флигелей.

Фасады и интерьеры были декорированы в 1778 году, возможно, по проекту французского архитектора Шарля де Вайи, который работал в Кускове. Сын графа Кирилла Алексей был женат на дочери владельца Кускова, графине Варваре Петровне Шереметевой. Дом настолько красив, что некоторые исследователи связывают его с именем архитектора Баженова. Блестящий вельможа, Алексей Кириллович в 1784 году решил разъехаться с женой и жить отдельно. Для чего построил себе усадьбу на Гороховом поле, где поселился с мещанкой Марьей Соболевской, от которой имел 10 внебрачных детей – Перовских.

Дом на Воздвиженке он продал своему шурину, графу Николаю Петровичу Шереметеву. Таким образом, во владении Николая Петровича в начале 19 века был почти весь Романов переулок, который с тех пор и до революции назывался в честь него Шереметевским. После женитьбы на своей бывшей крепостной актрисе Прасковье Николай Петрович предпочитал жить в Петербурге. В московском доме жила его многочисленная родня. В 1809 году владения унаследовал его сын граф Дмитрий Николаевич.

В 1863 году большой главный дом был значительно переделан: граф Дмитрий сдал его Московской городской думе. В этом доме работал самый знаменитый городской голова Николай Алексеев. В 1892 году Дума из дома съехала, и тогдашний владелец дома граф Александр Дмитриевич Шереметев сдал его Охотничьему клубу, который еще раз переделал интерьеры. Со стороны церкви пристроили еще одно помещение для собраний и игр. В большом зале клуба каждую неделю давались спектакли Общества искусства и литературы; в сентябре 1898 г. в здесь познакомились А. Чехов и О. Книппер. Перед 1917 г. в этом доме помещался Московский шахматный кружок, членом которого был знаменитый шахматист А. Алехин. В 1914 г. здесь выступал с сеансами кубинский шахматист, будущий чемпион мира Капабланка.

После революции в здании находилась Военная академия и Музей Красной армии и флота. С 1920-х тут была «Кремлевская» поликлиника и спецстоловая. Сейчас это Поликлиника №1 Управления делами президента.