Усадьба эта в 50-х - 70-х гг. XVIII в. принадлежала истопнику императрицы Елизаветы Петровны В. И. Чулкову. После него усадьба перешла к племяннику его супруги "придворному танцмейстеру" Семену Брюхову. Каменный двухэтажный дом сгорел в 1812 г. и через три года заново отстроен - это был представительный красивый особняк с шестиколонным портиком.

В 1838 г. усадьбу покупает вдова знаменитого московского губернатора Екатерина Петровна Ростопчина (ур. Протасова). Ее муж Федор Ростопчин, который управлял Москвой в период Наполеоновского нашествия, организовывал ополчение, своими афишами старался поднять дух горожан, и, как говорят, поджег Москву. Они с мужем с 1824 году жили раздельно. Он не мог простить ей переход в католичество. Вместе с ней в этом доме жила ее невестка, Евдокия Петровна Ростопчина-Сушкова. Знаменитая поэтесса, знакомая Пушкина, Жуковского, Лермонтова. Сосланная в Москву при Николае I за балладу "Насильный брак", где увидели намеки на Польшу.

Летом 1858 г. в гостях у хозяек дома гостил Александр Дюма, когда он был в Москве проездом из Петербурга на Кавказ.

Евдокия скончалась в 1858 году, Екатерина в 1859 году. Наследница Наталья Федоровна Нарышкина (Ростопчина) продала дом Сергею Васильевичу Шереметеву. По его завещанию усадьба перешла в 1866 году супруге Бориса Алексеевича Шереметева Юлии Сергеевне. Дом сдавался, например, зимой 1863/1864 гг. жил писатель А. Ф. Писемский.

В 1870 году у Юлии Сергеевны Шереметевой дом покупает Иван Карлович Прове (1833-1901) и начинается в усадьбе новая жизнь. Архитектор Р.А. Гедике переделывает классический особняк в духе нового времени. Он убирает такой немодный портик с колоннами и украшает фасад мелкими декоративными деталями в стиле эклектики. Скульптурное убранство главного дома сделано в мастерской известного скульптора А.М. Опекушина. Еще был пристроен объем для зимнего сада. Во дворе деревянная оранжерея. При усадьбе была конюшня на 4 стойла, коровник, каретный сарай, палисадник и большой сад с оранжереей, дворницкая, кучерская, прачечная и домик садовника. В восточной части ближе в дому 18 были устроены склады хлопка ТД «Л. Кноп». Были выстроены навесы, каменное здание с подвалом и домик для рабочих и приказчиков. 17 мая 1888 года на этих складах в усадьбе случился большой пожар. Он вынудил генерал-губернатора князя В.А. Долгорукова предложить Московской Городской Думе построить централизованные склады для хлопка с пожаротушением.

Иван Карлович Прове (1833-1901) происходил из эльзаских немцев, которые в 1830-е годы переселились в Москву. После окончания гимназии в 1854 году он поступил на службу в ТД «Л. Кноп», женился на сестре владельца и всю жизнь управлял делами этого Торгового Дома и возглавлял главные его предприятия: Кренгольмскую мануфактуру, Московское страховое общество от огня, Товарищество ситценабивной мануфактуры «Эмиль Циндель». В его особняке размещалась собранная им с 1880-х годов коллекция западноевропейской живописи: более 50 картин, в основном дюссельдорфской школы пейзажа и жанровой живописи со сценками из патриархальной жизни Германии.

После его смерти в 1901 году дом достался его старшему сыну Роману Ивановичу, который унаследовал все должности отца и в Торговом Доме Кноппов. Во время революции Роман Иванович с супругой уехали на Родину в Германию.