Двухэтажное каменное здание с подвалами появилось на углу Яузской улицы и одноименного бульвара в 1770–1780-е годы, когда усадьба принадлежала купцу П.И.Заборову. Создавая ее, он объединил два участка: сначала купил три «лавочных места» у купчихи М.С.Панковой, а затем – два земельных надела у купца Ф.С.Сафонова. Так что владение это – исконно купеческое.

Дом Заборова уцелел в основе нынешнего усадебного дома, он составляет его центральную часть. Пострадавший в пожаре 1812 года дом был в конце 1810-х или в начале 1820-х гг. восстановлен и отделан в стиле зрелого классицизма. Симметричный фасад по Яузской улице удачно маскирует «неправильность» дома, расположенного на угловом участке в квартале, так что продольные капитальные внешние и внутренние стены отнюдь не перпендикулярны главному фасаду.

Фасад по Яузской улице украсил шестиколонный портик с фронтоном. Портик опирается на ризалит первого этажа. Между колоннами размещены лепные розетки с факелами и барельефы. Угловая часть здания, украшенная балконом с металлической решеткой, получила при перестройке характерные для градостроительства времен классицизма округлые очертания.

Первый этаж здания по купеческой традиции был отдан под торговые лавки. На втором и антресольном этажах располагались жилые покои.

Усадьбой после Отечественной войны владели дамы купеческого сословия – А.М.Смирнова, затем А.В.Филиппова. В 1870-е годы участок числится за майоршей Р.Ф.Шидловской; усадьба в эти годы начинает превращаться в доходное владение, дворовые корпуса и флигели реконструируются и сдаются внаем.

В начале ХХ столетия земельный участок на углу улицы и бульвара, как и соседний, принадлежали семье предпринимателей Филипповых.

Фасады главного дома городской усадьбы сохранили свой исторический облик. А интерьеры были частично воссозданы в процессе реставрации 1950-х гг., проводившейся под руководством В.Я.Либсона. Дом, как отмечают исследователи, имеет несколько тяжеловатый объем, но внушительный облик. Как и положено по канонам позднего классицизма.

В настоящее время выходящая на Яузскую улицу часть дома – по-прежнему двухэтажное строение. А вот дворовая часть – трехэтажная, она перестроена в 1990-е годы. В здании расположены офисы.

Дом является объектом культурного наследия федерального значения.