Дом Дворцового ведомства построен в 1817 году. В 1837 году здание перестроено.

Здание выдержано в стиле ампир. В доме два этажа. Во фронтальной части находится пятиосевой мезонин. Особо выделяется украшенный лепниной портик, который относится к типу Дорический ордер, держащийся на 6 колоннах на первом этаже. Стены нижнего этажа рустованы.

С 1820 года по 1830 год здесь жили князь и сенатор И. А. Гагарин, имевший большой авторитет в литературных кругах, и его возлюбленная, а затем жена актриса Екатерина Семёновна Семёнова, выступавшая в Александринском театре. В 1860-х годах здесь проживал А. Н. Муравьёв, декабрист который вернулся из ссылки, возникшей в результате конфликта с Шереметевым.