В 1770-х годах владельцем дома был генерал от инфантерии, обер-полицмейстер Москвы, Николай Петрович Архаров, он был замечательным следователем, известной московской личностью, именно от его фамилии произошел термин «архаровец», который изначально использовался для ироничного обозначения служителя полиции.

От Архарова дом перешел во владение не менее значимой исторической личности, герою Отечественной войны 1812 года, генералу Г. И. Бибикову. Он был большим ценителем музыки, поэтому здесь нередко устраивались балы, на которые собирались крупнейшие представители богемной жизни. В усадьбе частенько можно было встретить Александра Сергеевича Пушкина с супругой Натальей Гончаровой, князя Петра Вяземского, графа Фёдора Толстого. К искусству генерал с охотой приобщал и своих крепостных.

В 1835-1837-х годах усадьба принадлежала еще одному герою войны 1812 года, генерал-лейтенанту, поэту Денису Васильевичу Давыдову. Денис Давыдов стоял в начале партизанского движения в России в период Отечественной войны, поэтому в те времена особняк звали ещё и «домом главного партизана». Тогда здесь появилось множество исторических атрибутов, живописных полотен великих русских полководцев: А. Суворова, М. Кутузова, П. Багратиона. К Давыдову частенько захаживали именитые гости, среди которых были и А. С. Пушкин, и Е. А. Баратынский.

После смерти Давыдова усадьба перешла к ординатору московского военного госпиталя, врачу Иллариону Ивановичу Дуброво, а затем, вплоть до революции 1917 года здесь находилась знаменитая женская гимназия С. А. Арсеньевой.

В советские же годы здание занимали чиновники районного комитета компартии. Тогда же на доме была укреплена мемориальная доска, посвященная Д. В. Давыдову, автором которой является А. Котырев.