Документы середины XVIII столетия фиксируют здесь каменные палаты, возможно, их ядро было построено еще в допетровское время. В начале XVIII века этот участок имел 60 саженей (около 130 м) в длину. В самом конце XVIII века фасад здания был перестроен в актуальном для того времени стиле классицизма. За век усадьба несколько раз переходила из рук в руки: последним дворянским владельцем участка стал генерал от инфантерии Н.Д.Дурново. В 1820-х годах усадьба перешла в купеческие руки.

Самым известным владельцем усадьбы стал миллионер Петр Губонин, владевший ею в 1860 – 1880-х годах. Это был успешный железнодорожных подрядчик, за два десятка лет из простых крестьян выбившийся в промышленники с капиталом около 20 млн. рублей. Свое огромное состояние Губонин инвестировал в банковские операции, был одним из основателей Бакинского нефтяного общества, совладельцем страховых компаний. С именем Губонина связано в Москве строительство сети конно-железных дорог, возведение храма Христа Спасителя, основание Комиссаровского технического училища. Дореволюционный путеводитель по Москве издательства Сабашниковых рекомендует вниманию читателей Губонина как незаурядного российского капиталиста, чья усадьба столь заметна - «типичная для Москвы с ее широким барским и купеческим размахом».

При Петре Губонине в 1869 году к главному зданию усадьбы была сделана с юга пристройка, а в 1871-м были добавлены здания по красной линии переулка. Здесь нашли приют в одночасье оставшиеся без крова от пожара Михаил и Ольга Садовские с детьми – знаменитая артистическая семья того времени. Петр Губонин перевез их к себе, «не успели еще дотлеть головешки на пепелище», рассказывали Садовские внукам.

Следующим после Губонина владельцем усадьбы стал купец Салих Юсупович Ерзин, известный московский предприниматель, миллионер, меценат. Он поселился в усадьбе вместе со своим огромным семейством, впоследствии в особняке располагалась его контора. В предреволюционные годы здание арендовала гимназия.

Сейчас в доме находятся образовательные учреждения: здесь расположен Московский физико-технический университет.