Как уверяет молва, младший сын Морозовой Арсений, побывав в гостях у брата, заявил, что поручит создать для него самый необычный дом в Москве. «Вот ты, Миша, собираешь свои коллекции, с которыми еще неизвестно что потом будет... Мой же дом будет стоять вечно». С этих слов и началась жизнь дома на Воздвиженке.

Ранее на месте дома № 16 размещался конный цирк. И до 1892 года у владельца столь успешного предприятия Карла Маркуса Гинне была, пожалуй, одна забота, да и та, на его взгляд, пустяшная. В цирке наверху на галерее, там, где располагались самые дешевые места, царила ужасная теснота, отчего у посетителей случались обмороки. Зато пожар в упомянутом году был куда страшнее: деревянное здание сгорело фактически без остатка, и на воссоздание цирка у импрессарио средств не нашлось. Освободившийся около ее дома, участок купила Варвара Алексеевна Морозова, решив сделать подарок младшему сыну Арсению на его день рождения. Архитектором пригласили Мазырина. Тот подготовил проект дома в русском стиле, который был решительно отвергнут Арсением. Определиться же с тем, чего он хочет, будущий владелец никак не мог.

Чтобы создать «самый необычный дом в Москве», заказчик и архитектор отправились в длительное путешествие - Париж, Мадрид, Лиссабон… В поисках вдохновения путешественники приехали в португальский город Синтру - места, воспетые Байроном. Фантастически дивная природа и... замок Palacio Nacional da Pena на скале, построенный в стиле мануэлино. Витые колонны, причудливый орнамент… Мистическое, словно заколдованное место, способное остановить время. Надо ли уточнять, что на этом поиски были окончены. В 1897 году семилетняя дочь Мазырина Лида заложила первый камень в основание будущего дома - и работа закипела.

Казалось, для Мазырина не существовало препятствий. Замок в Синтре увит гроздьями винограда? В Москве вместо живого винограда появился каменный орнамент. В 1899 году строительство было окончено. На Воздвиженке появился дом, пройти мимо которого невозможно. Толстой в романе «Воскресение» напишет:

«На одной из улиц извозчик, человек средних лет, с умным и добродушным лицом, обратился к Нехлюдову и указал на огромный строящийся дом.

- Вон какой домина занесли, - сказал он, как будто он отчасти был виновником этой постройки и гордился этим.

Действительно, дом строился огромный и в каком-то сложном, необыкновенном стиле. Прочные леса из больших сосновых бревен, схваченных железными скрепами, окружали воздвигаемую постройку и отделяли ее от улицы тесовой оградой.

По подмостям лесов сновали, как муравьи, забрызганные известью рабочие: одни клали, другие тесали камень, третьи вверх вносили тяжелые и вниз спускали пустые носилки и кадушки. Толстый и прекрасно одетый господин, вероятно архитектор, стоя у лесов, что-то, указывая наверх, говорил почтительно слушающему владимирцу-рядчику. Из ворот мимо архитектора с рядчиком выезжали пустые и въезжали нагруженные подводы.

«И как они все уверены, и те, которые работают, так же как и те, которые заставляют их работать, что это так и должно быть, что, в то время как дома их брюхатые бабы работают непосильную работу и дети их в скуфеечках перед скорой голодной смертью старчески улыбаются, суча ножками, им должно строить этот глупый ненужный дворец какому-то глупому и ненужному человеку, одному из тех самых, которые разоряют и грабят их», - думал Нехлюдов, глядя на этот дом».

Дом был принят московской публикой в штыки. Разгромные статьи, злые шутки, карикатуры, дом называли образцом безвкусия. Говорят, что и Варваре Алексеевне дом не понравился, якобы она сказала сыну: «Раньше одна я знала, что ты дурак, а теперь об этом узнает вся Москва». Впрочем, сам Арсений на слухи никакого внимания не обращал, в доме закатывались грандиозные попойки, а Морозов-младший увлекся мистическими и эзотерическими науками. На доме был выточен узел из канатов - талисман благополучия и долголетия. Но с долголетием не вышло. Однажды в пьяной компании Арсений поспорил, что прострелит себе ногу и не закричит от боли, и тем докажет, что человеческая сила воли безгранична. Выстрелил, не закричал, спор выиграл да и продолжил выпивать. Кровь между тем скопилась в сапоге, произошло заражение, и в скором времени чудаковатый Арсений скончался.

Чуть позже выяснилось, что все свое имущество (четыре миллиона плюс особняк) Морозов-младший завещал не бывшей жене и дочери, а любовнице. Вдова обратилась в суд, газеты старательно описывали происходящее: «в коммерческих кругах говорят об иске в несколько миллионов рублей, вчиняемой супругой покойного г-жой Федоровой к некоей г-же Коншиной, явившейся неожиданной наследницей великолепного дворца в мавританском стиле на Воздвиженке и 4-миллионного состояния покойного». В результате выиграла любовница... 

…После революции в особняке Морозова разместились анархисты. Затем поселили Пролеткульт. Первый Рабочий театр Пролеткульта, где ставили свои спектакли Эйзенштейн и Мейерхольд, был весьма своеобразным. Чтобы понять, насколько своеобразным, достаточно вспомнить «Колумб» из «Двенадцати стульев» с его колоритными героями: «Из одиннадцатого ряда, где сидели концессионеры, послышался смех. Остапу понравилось музыкальное вступление, исполненное оркестрантами на бутылках, кружках Эсмарха, саксофонах и больших полковых барабанах. Свистнула флейта, и занавес, навевая прохладу, расступился. К удивлению Воробьянинова, привыкшего к классической интерпретации «Женитьбы», Подколесина на сцене не было. Порыскав глазами, Ипполит Матвеевич увидел свисающие с потолка фанерные прямоугольники, выкрашенные в основные цвета солнечного спектра. Ни дверей, ни синих кисейных окон не было. Под разноцветными прямоугольниками танцевали дамочки в больших, вырезанных из черного картона шляпах. Бутылочные стоны вызвали на сцену Подколесина, который врезался в толпу верхом на Степане...»

Невзыскательной публике такие бесшабашные постановки нравились. Но талантливые режиссеры предпочитали другого зрителя. В 1932 году Пролеткульт распался (а театр переехал с Воздвиженки еще раньше).

С 1928 года дом № 16 был отдан под резиденцию японского посла, в военные годы здесь же располагалась редакция английской газеты «Британский союзник», а с 1952 по 1954 год – посольство Индийской Республики. В 1959–м особняк почти на полвека занял Дом дружбы с народами зарубежных стран.

В 2003 году было принято решение о размещении в бывшем владении Морозова Дома приемов Правительства РФ, что и произошло после окончания реставрации в 2006 году.