Усадьба предпринимателя Ивана Назаровича Рыбникова, находившаяся на территории его суконной фабрики в Даниловской слободе, числилась одной из крупнейших в Москве, что соответствовало статусу ее хозяина. Купец Рыбников был значительной фигурой в предпринимательской среде и даже сидел однажды рядом с императором Николаем Первым во время обеда, данного по случаю открытия мануфактурной выставки в Петербурге в 1833 году. Разговор шел о таможенной политике.

Усадьба и фабрика в начале XIX в. перешли к Рыбникову от князя И.С. Барятинского. Главный дом обычно датируется в научной литературе 1820-ми годами. Однако есть версия, что было более раннее здание, выстроенное предыдущим хозяином, отделанное вчерне и горевшее в 1813 году. Так что в новый объём, возможно, вошло строение конца XVIII в.

Изначально окружение дома было под стать его красоте: владение Рыбникова тянулось почти на полверсты вдоль берега Москвы-реки к югу, до устья Чуры. От Серпуховской заставы к воротам усадьбы шла собственная дорога (ныне Холодильный переулок). К югу от дома был большой живописный сад, кругом открывались прекрасные панорамные виды на Донской, Даниловский, Симонов монастыри и церковь Воскресения Словущего в Даниловской слободе, выстроенную, кстати, на средства Рыбникова. Перед главным северным фасадом дома был парадный двор.

В 1870−1880 гг. владение начинает участками переходить от наследников Рыбникова к А.А. Шрадеру. Дом перестраивают в 1880–1890 гг. В 1899 г. прямо по территории владения прошла линия Павелецкой железной дороги. В первые годы ХХ столетия новая Даниловская набережная отсекла восточное крыло дома, который с тех пор утратил классическую симметрию. А в западном крыле − пробили арку для маневровых тепловозов.

Несмотря на поздние перестройки и утрату былого гармоничного окружения (здание находится в кольце депрессивной индустриальной застройки и труб теплосетей) классический дворец с роскошным восьмиколонным портиком ионического ордера, фронтоном и высокими окнами и сегодня выглядит очень внушительно и благородно.

Лаконичная ампирная обработка фасадов осложнена лепным декором более позднего времени. Задний ризалит, возможно, изначально был открытой колоннадой, но его перестроили с характерным уже для эклектики поэтажным раздроблением ордера.

Интерьеры дома не сохранились.