В середине XVIII века усадьба принадлежала поручику Нарбекову. Также усадьбой владел князь Кантемир, позже во владении расположилось училище Лопухиной.

С 1855 года дом принадлежал славянофилу и меценату Василию Кокореву, коллекционеру картин русских мастеров, предметов народного искусства и быта. Отражением взглядов и увлечений хозяина стала перестройка его собственного дома, произведенная в начале 1860-х годов по проекту архитектора И. Черника. Одни современники писали, что «дом построен в старобоярском стиле», другие — что он «возобновлен самым безобразно-роскошным образом».

22 января 1862 года в доме открылась Кокоревская картинная галерея. В центральном помещении цокольного этажа размещался известный в то время ресторан «Тиволи», с зимним и летним садами, причем в летнем имелся «бельведер, с которого открывается прекрасный вид на Москву».

Галерея просуществовала всего три года, финансовые дела Кокорева пошатнулись, и он вынужден был продать дом, а после и галерею. Владельцами усадьбы стали Тимофей Саввич и Мария Федоровна Морозовы, родители знаменитого мецената Саввы Морозова. Они вновь переделали интерьеры дома, а в одном из помещений верхнего этажа устроили старообрядческую домовую церковь. Мария Федоровна, намного пережившая мужа, обладательница 30-миллионного состояния, оставалась хозяйкой дома до 1911 года.

Частыми гостями дома Морозовых были Третьяков, Шаляпин, Чехов, Тимирязев, Валентин Серов, Коровин, Остроухов, Васнецовы. А Левитан получил здесь кров. В 1889 г. Сергей Тимофеевич Морозов подарил Левитану собственную мастерскую, переделанную из оранжереи. Она сохранилась в глубине двора и отмечена мемориальной доской.

Следующим «узлом» истории старой усадьбы стал 1918 год, когда особняк превратился в штаб мятежных левых эсеров. В усадьбе располагался отряд ВЧК под началом левого эсера Попова. Именно здесь скрылся убийца германского посла Мирбаха Яков Блюмкин. Именно сюда приехал Феликс Дзержинский, чтобы арестовать его, однако сам был взят под арест по приказу Попова. Но уже 7 июля дом Морозова, откуда восставшие обстреливали так хорошо видный Кремль, был разгромлен частями Латышской дивизии.

С 1919 г. здесь и в соседнем строении (дом № 3) располагался Покровский концлагерь, в котором содержали, главным образом, бывших царских офицеров и белогвардейцев.

С 1920-х гг. и до конца века в особняке располагался детский сад № 304, его можно видеть в кинофильме «Усатый нянь». Большая часть интерьерной роскоши, а также чугунная терраса паркового фасада, за это время были утрачены. Дело довершила реконструкция 2002 года.