Этой усадьбе в XIX веке не везло. Сложно сосчитать сколько раз за век ее продавали. После войны и пожара 1812 года в деревянном доме здесь проживала девица Елизавета Молчанова. В 1840-х годах владение уже в собственности у семейства Чаплыгиных. В 1875 году их сменил колежский ассесор Модест Михайлович Терновский, через два года он продал участок Филиппу Павловичу Соловьеву. Тот задумал построить здесь доходный дом по проекту А.С. Каминского. Но участок для этого оказался мал.

Вдова Ф.П. Соловьева в 1891 году продает владение камер-юнкеру Ивану Михайловичу Леонтьеву. А тот через два года продает его семье купца Ивана Михайловича Живаго. Живаго пытаются отремонтировать ветхий деревянный особняк и что-то сделать с остальными строениями, но отчаиваются и продают всё владение супругам Карлу Ивановичу и Рахили Гесте в 1907 году. Рахиль Гесте энергично берется за дело. Сносит все строения и в тот же год строит особняк со службами по проекту архитектора Сергея Сергеевича Шуцмана. С.С. Шуцман работал в мастерской архитектора Кекушева и очень часто вместо него подписывал прошения о строительстве в Городскую Управу. Он построил разновеликий дом, как будто сложенный из стоящих и лежащих кубиков, в интересном сочетании неоклассики и модерна. Двухэтажный и трехэтажный объемы объединяются неоклассическим декором, выраженным в ярком русте первого этажа, и классическими наличниками. Ограда особняка украшена полукруглыми нишами, тоже характерными больше для ампирной Москвы.

Карл Иванович был членом правления Товарищества Высоковской мануфактуры под Клином. Основными компаньонами его в этом деле были: сосед Р.Р. Мак-Гилл, К.И. Прове и Т.Л. Кнопп. По свидетельству Н. М. Сулейкина, Гесте «…вложил в фабрику всю свою жизнь: молодость, силу, знания и энергию». Он не жалел денег и трудов на оснащение техническими устройствами рабочего корпуса и всех зданий фабрики.

С 1927 года здесь располагалась научная радиолаборатория. Сейчас здесь посольство Алжира.