Здание в начале Делегатской улицы представляет собой архитектурный ансамбль, формировавшийся на протяжении XVIII-XIX вв.

Первоначально на этом месте находилась московская городская усадьба. При Иване Андреевиче Остермане в 1786 г. здесь был построен трехэтажный дворец с флигелями и переходами, названный тогда «Домом графа Остермана».

Первыми владельцами территории были представители древнего рода Стрешневых. Основатель династии Романовых, Михаил Федорович, после женитьбы в 1626 г. на Евдокии Лукьяновне Стрешневой пожаловал эти земли ее отцу Лукьяну Степановичу.

В 1660-х гг. «Стрешнев огород» принадлежал Родиону Матвеевичу Стрешневу, затем его сыну Ивану, жене последнего и, наконец, с 1739 г. - их сыну, последнему владельцу из рода Стрешневых – Василию Ивановичу. При нем здесь появляются первые каменные сооружения - двухэтажные палаты на каменном основании, стоявшие в глубине двора. По словам историка И.М. Снегирева, это был «огромный и великолепный дом, который почитался одним из первых в Москве».

Служебные и хозяйственные постройки располагались вдоль проезда, ведущего к Убогому дому. Позже проезд стали называть Божедомским переулком, а в XX в. его переименовали в Делегатскую улицу.

После В.И.Стрешнева усадьба досталась его племяннику, графу Ивану Андреевичу Остерману. Новый владелец сразу начал ее перестройку. Спустя 4 года, к 1786 г., все основные сооружения были обновлены и стали каменными.

Главный дом-дворец превратился в трехэтажный, двухэтажные флигеля соединились с ним полукруглыми крытыми переходами, которые имели сквозные проезды на задний двор. Курдонёр (парадный двор) украсился двумя декоративными прудами. Планировочная структура усадьбы получила трехчастную композицию, которая сохранилась до нашего времени. История не донесла до нас имя архитектора дворца, но, вероятно, он принадлежал школе М.Ф.Казакова.

За дворцом, чуть в стороне от него, И.А.Остерман устроил романтический парк, пользовавшийся неизменным успехом у нередких гостей графа, жившего, как тогда говорили, «открытым домом».

В ноябре 1809 г. Иван Андреевич принимал почетного гостя – императора Александра I, посетившего Москву проездом из Твери.

По завещанию усадьба переходила к внучатому племяннику И.А.Остермана, А.И.Остерману–Толстому, единственному наследнику по мужской линии и продолжателю фамилии бездетных братьев Ивана и Федора Остерманов.

Новому владельцу было строго наказано «сей дом никогда не продавать и не закладывать», и чтобы он «всегда оставался под названием Дома Графа Остермана».

Александр Иванович Остерман-Толстой не уделял усадьбе много внимания. Будучи военным, он чаще находился при армии, бывая в Москве лишь изредка, а когда приезжал, то больше любил останавливаться в своем подмосковном имении Ильинском.

В 1812 г. дворец сильно пострадал в большом московском пожаре, но во флигелях еще какое-то время жили немногие постояльцы.

Вопреки воле своего двоюродного деда Остерман-Толстой в 1827 г., навсегда покидая Россию, решает продать усадьбу. Его желание совпало по времени с поисками новых помещений для Московской семинарии. Кто подал Николаю I идею обратить внимание на владение Остермана-Толстого, остается загадкой, но на одном из документов появляется высочайшая резолюция: «Должно искать другой [дом], например, Графа Остермана, более уединенный и с обширным садом».

Прошло 10 лет, прежде чем в Доме графа Остермана начались семинарские занятия. В течение первых пяти лет рассматривались различные варианты переделки усадьбы. Одни архитекторы предлагали полностью разрушить все старые здания и на их месте возвести новые (М.Д.Быковский, 1836 г.). Другие хотели снести только второстепенные, но сохранить дворец и нарастить его с восточной и западной сторон (Е.Е.Еремеев, 1839 г.). И лишь петербургский синодальный архитектор А.Ф.Щедрин предложил оставить неприкосновенными все существующие строения, восстановить сгоревший дворец и расширить его в глубину участка. Таким образом, внешние очертания усадьбы не нарушались, и сохранялось здание, «издавна привлекавшее к себе внимание московских жителей, и сломка которого произвела бы неприятное впечатление».

Бережное отношение к Дому графа Остермана наблюдается и позднее. Когда семинария стала нуждаться в увеличении своих площадей, новые корпуса возводились со стороны сада, не нарушая, а дополняя сложившийся ранее ансамбль. После революции 1917 г. строительных работ на усадьбе не велось. В конце 1940-х гг. появилось самое высокое сооружение – здание Президиума Совета Министров РСФСР (арх. В.Г.Гельфрейх), но оно было поставлено очень деликатно, рядом со старинным парком, примкнув к бывшему семинарскому общежитию, и его высота потерялась среди вековых лип.

Время не пощадило некоторые служебные флигеля, другой стала красная линия нынешней Делегатской улицы, исчезли пруды, сократилась территория парка, но центральное ядро московской городской усадьбы конца XVIII в. с домом графа Остермана сохранило в целом свой облик и является ярким памятником архитектуры эпохи классицизма. Это один из немногих уцелевших уголков старой Москвы, где еще жив дух старинной городской усадьбы. Весь комплекс (включая пристройку конца 1940-х гг.) является памятником архитектуры федерального значения и охраняется государством.