Монументальное, помпезное здание песочного цвета в конце Знаменки с 12-ю мощными колоннами на фасаде сразу привлекает внимание прохожего. Большая композиция над колоннадой, изображающая герб СССР в окружении знамен и военных атрибутов, будто бы сообщает, в какую эпоху появилась данная постройка. Но это всего лишь иллюзия: на самом деле в своей основе дом гораздо старше и помнит ещё времена Екатерины II.

В 1790-х годах два участка на Знаменке были объединены генералом С.С. Апраксиным, который построил собственный дом – длинное двухэтажное здание, проект которого, как считают исследователи, был создан Ф.И. Кампорези. Во время Отечественной войны 1812 года здесь разместился интендантский штаб французских войск. Воспоминания о доме оставил служивший в штабе Стендаль. Именно отсюда «как и положено, покинув свой пост», он отправился на поиски своей бывшей возлюбленной, актрисы Мелани Гильбер, уехавшей в Россию еще до войны, успешно здесь игравшей, в конце концов вышедшей замуж и ставшей Гильбер-Барковой. В суматохе оккупированного города Стендаль так и не нашел ее, однако позже, наведя справки узнал, что она в это время находилась в Петербурге и, судя по рассказам, в браке была не очень счастлива.

После ухода французов дом быстро привели в порядок, и он на некоторое время стал театром: в 1814 – 1818 годах здесь выступала труппа Московского императорского театра, затем разместился крепостной театр Апраксина. После смерти хозяина здание перешло в казну и вновь изменило своё назначение: его выкупил Александринский сиротский институт, куда принимали детей военных и чиновников, скончавшихся во время эпидемии холеры в 1830 года. Здание было переделано для новых нужд, во фронтоне главного фасада разместился двуглавый орёл, а боковой фасад украсила большая композиция с фигурой богини Минервы в центре, выполненная скульптором И.П. Витали. Позже институт был преобразован в Кадетский корпус, а в 1850 году - в Александровское военное училище. Среди его преподавателей были С.М. Соловьев, В.О. Ключевский, В.И. Герье. Среди выпускников – писатель А.И. Куприн, композитор А.Н. Скрябин, генерал Белой армии Н.И. Юденич, советский маршал М.Н. Тухачевский. Училище было описано в романе Куприна «Юнкера».

Во время Октябрьской революции и боёв в Москве в октябре – ноябре 1917 года училище было одним из центров сосредоточения юнкеров, оказывавших сопротивление большевикам.

В советскую эпоху здание сохранило военный характер: сначала здесь разместился Реввоенсовет, затем народный комиссариат обороны, который сменило соответствующее министерство. В 1944 – 1946 гг. производится масштабная перестройка и надстройка по проекту архитекторов М.В. Посохина и А.А. Мндоянца, в результате чего здание приобретает ныне существующий облик.