На протяжении почти всего XVIII века участком по Пречистенке, 21 владел лейтенант флота Федор Лукич Талызин, впоследствии – его жена и внук. Главный дом был выстроен до 1770-х годов. В начале XVIII века владельцем стал генерал-майор Алексей Алексеевич Тучков, отец будущего декабриста. Он значительно перестроил главный дом усадьбы и, как вспоминала его внучка Наталья (жена Н.П.Огарева и впоследствии А.И.Герцена) «он устроил для картинной галереи, которую имел уже несколько лет, освещение сверху, которым все знакомые восхищались». В пожаре 1812 года дом каким-то чудом уцелел, хотя вся Пречистенка выгорела.

Свой нынешний вид здание получило в 1871 году по проекту Петра Сантиновича Кампиони. Он расширил дом и оформил фасад в духе псевдобарокко – с лепными наличниками, полуколоннами и парапетом над венчающим карнизом. В таком же стиле были отделаны и парадные помещения. А вот первоначальная планировка осталась неизменной: на первом этаже – сводчатые помещения, на втором – залы.

С 1889 года домом владеют представители богатых текстильщиков Морозовых. Последним хозяином перед революцией здесь стал Иван Абрамович Морозов – меценат, коллекционер, основатель картинной галереи. Именно под картинную галерею и переделывает дом знаменитый архитектор Лев Николаевич Кекушев в 1905 году. Была удалена лепнина с анфиладных комнат, стены обили полотном жемчужно-зеленого цвета, в крышу встроили высокий стеклянный фонарь, залы расширили: за счет снятия антресолей высота самого большого зала увеличилась до 6 метров! Парадный Белый зал и Дубовый зал (бывшая столовая) сохранили до наших дней кекушевскую отделку и обстановку. Заново, в неоготическом стиле, архитектор отделал кабинет хозяина особняка. По просьбе Морозова он сделал также несгораемую комнату, в которую в случае необходимости можно было спрятать всю коллекцию.

Декоративные панно и скульптуры для концертного зала и лестницы были выполнены известными французскими художниками – М.Дени, А.Майолем, П.Боннаром. В 1918 году Морозовская галерея была превращена во Второй музей новой западной живописи, упраздненный в 1948 году. Иван Морозов некоторое время был в нем заместителем директора, но затем вместе с семьей покинул Россию.

В 1929 году дом снова реконструировали. В постройке нового выставочного зала принимал участие архитектор Сергей Михайлович Калугин. В 1948 году здесь разместился президиум Академии художеств СССР, позднее Российская академия художеств и НИИ теории и истории изобразительных искусств.

В конце 1990-х годов была проведена реставрация, восстановлены фасад и исторические интерьеры. В анфиладе второго этажа на сегодняшний день проходят многочисленные выставки.