В глубине пустыря, оставшегося от снесённых здесь в недавнее время домов, возле Патриаршего пешеходного моста, торцом к набережной, стоит выкрашенное в жёлтый цвет двухэтажное кирпичное здание. Ему повезло больше его соседей - спасла древность. В основе его – палаты XVI века. Кто был строителем дома не известно. В последующие времена здание неоднократно перестраивалось. Между подвалом и первым этажом сохранились сводчатые и коробковые перекрытия. Недавно дом отремонтировали, при этом был утрачен старинный деревянный накат по деревянным балкам между первым и вторым этажами. На противоположном от Москвы-реки, восточном фасаде восстановлены узорочные наличники парадного этажа. На южном – наличники подклета: простые с треугольным фронтоном XVII века и барочные, ушастые XVIII столетия. Их можно увидеть под пластиковым навесом в приямке, отрытом в культурном слое возле стен здания.

До революции это была городская усадьба знаменитых водочников Смирновых. Иван Алексеевич Смирнов приобрёл здесь, на Берсеневской набережной владение ещё в 1863 году, а спустя пять лет прикупил дополнительный участок – часть территории бывшего Винно-Соляного двора для устройства водочного завода. Лучше места и придумать было сложно: живописный берег реки, напротив золотые купола храма Христа Спасителя. Позже и завод, и усадьба перешли к его сыну Сергею Ивановичу, учредившему в 1874 году Торговый дом «И. А. Смирнова сыновья» с основным капиталом 60 тыс. рублей.

Больше известен его двоюродный брат Пётр Арсеньевич, начинавший свою карьеру приказчиком у своего дяди Ивана Алексеевича, отца Сергея Ивановича Смирнова и имевший контору совсем неподалёку, у Чугунного моста.

Последним предреволюционным владельцем особняка на Берсеневской набережной был Сергей Сергеевич Смирнов. Водочный завод после 1917 года перешёл к Мосгорсовнархозу и некоторое время продолжал работать, но позже был ликвидирован. Заводские корпуса снесли при строительстве Дома на набережной.

Городская усадьба Смирновых на Берсеневской набережной находится на государственной охране, как объект культурного наследия регионального значения.