В XVIII веке здесь располагалась большая усадьба, принадлежавшая сначала купцу Борису Сысоеву, а в конце XVIII века – надворному советнику Петру Леонтьевичу Ермолову, представителю младшей ветви этого известного дворянского рода. Его сын, Александр Петрович Ермолов, на протяжении двух лет (с 1785 по 1786 гг.) был фаворитом императрицы Екатерины II и пользовался покровительством светлейшего князя Г.А. Потемкина. Он приходился двоюродным племянником знаменитому полководцу генералу Алексею Петровичу Ермолову.

На рубеже XVIII – XIX веков усадьбой владел рижский купец Карл Фридрих Ратхен, считается, что он и построил дошедший до нашего времени усадебный дом (д. 4, стр. 1), хотя, возможно, он только перестроил уже существующее здание. Так что не исключено, что за скромным обликом дома скрываются старинные палаты XVIII века. Нынешний вид дом приобрел в середине XIX века, когда был надстроен вторым этажом. Лаконичный декор фасадов усадебного дома и флигеля (д. 4, стр. 2) характерен для второй половины XIX века. Главный фасад дома обращен во двор, его ризалит увенчан треугольным фронтоном, углы дома и флигеля оформлены декоративным рустом.

На протяжении XIX века усадьба, оформившаяся в своих нынешних границах в 1823 году, неоднократно меняла владельцев. Одно время она принадлежала петербургскому купцу С. фон Бринену, потом купцу Е.А. Лютеру. Владение использовалось как доходное – в главном доме и флигеле были устроены квартиры, которые сдавались.

С конца XIX века усадьбой владел купец-хлеботорговец Иван Михайлович Саргин, потом она перешла к его сыну Давыду Ивановичу. Д.И. Саргин прославился как исследователь и популяризатор шашек и шахмат. Первоначально он работал банковским служащим, но постепенно увлекшись шашками и шахматами, посвятил себя деятельности в этой сфере – начал издавать журнал «Шашечница» («Шахматное обозрение»), разрабатывал шашечные дебюты и этюды, был автором многих статей по истории шахмат. В 1916 году он опубликовал научный труд «Древность игр в шашки и шахматы», ставший результатом его многолетних исследований на эту тему.

В своей усадьбе в Архангельском переулке Д.И. Саргин построил в 1912 году гараж (д. 4, стр. 3), который сдавал автовладельцам. В главном доме жил сам вместе с детьми – Константином и Ольгой. После 1917 года усадьба Саргиных была национализирована, гараж отдан в ведение Мосгорбанка. Позже здесь разместился гараж особого назначения.