Массивное классицистическое здание, занимающее Москворецкую набережную — Воспитательный дом. Его парадный фасад увенчан куполом со шпилем, живописно рисующимся как с Москворецкого, так и с Яузского моста.

Строительством Воспитательного дома Москва обязана Ивану Ивановичу Бецкому (1704-1795). Побочный сын князя И. Ю. Трубецкого, он учился в Копенгагенском кадетском корпусе, позже путешествовал по Европе, где познакомился с педагогическими теориями энциклопедистов. По возвращении он предложил Екатерине II проект Воспитательного дома в Москве для подкидышей и беспризорных младенцев. Его воспитанники получали не только образование, но и профессию, часто связанную с искусством: актёра, художника, ремесленника, механика. Одной из целей И. И. Бецкого было воспитание в России нового человека, свободного от недостатков существующего общества.

Учреждён Воспитательный дом был 1 сентября 1763 года, а его закладка состоялась 21 апреля 1764 года, в день рождения Екатерины II, на Васильевском лугу. Дом строили из камня разбираемой крепостной стены Белого города. Проект предусматривал возведение двух квадратов с внутренними дворами, соединённых между собою центральным корпусом, называемым на французский лад корделожи. Автор проекта остаётся пока неизвестным, предполагают петербуржца Ю.М.Фельтена. С 1764 по 1767 годы руководил строительством архитектор К. И. Бланк, он же построил западный квадрат. Корделожи строили архитекторы, приглашённые крупным жертвователем, П. А. Демидовым. Это Я. А. Ананьин и крепостной И. Ситников. Джованни (Иван) Жилярди построил часть Окружного строения по восточной границе участка до 1801 года. 

В сентябре 1812 года оставшийся в Москве для сбережения здания директор Иван Акинфиевич Тутолмин добился у Наполеона караула из 12 солдат с офицером. В здании были размещены раненые. Во внутреннем дворе, а также между зданием и Китайгородской стеной было погребено около 2500 умерших здесь французов.

После 1917 года Воспитательный дом был упразднён. В здании, названном «Дворец труда», разместились профсоюзы, управление соцобеспечения, редакции газет. И. Ильф и Е. Петров описали "Дворец труда" в романе «12 стульев» как Дом Народов.

В конце 1930-х годов здание Воспитательного дома заняла Артиллерийская академия им. Ф. Э. Дзержинского. Для академии в 1930-1940-х годах построили южный корпус восточного квадрата, предусмотренный первоначальным проектом. Полностью восточный квадрат был закончен в 1960-е годы по проекту И. И. Ловейко.

В 2021 году завершилась реставрация скульптур, обрамляющих въезд на территорию Императорского воспитательного дома со стороны улицы Солянки. Это копии аллегорических композиций XIX века «Милосердие» и «Воспитание», созданные из белого камня и установленные в 1970-х годах.