В XVII в. владение за Яузскими воротами Белого города подле церкви Живоначальной Троицы в Серебряниках принадлежало князю И.Б. Черкасскому. В начале следующего столетия он продал свой двор вместе со стоявшими здесь каменными палатами А.А. Гончарову — прапрадеду жены Пушкина Натальи Гончаровой. В 1718 г. Афанасий Абрамович, уже владевший к тому времени полотняной мануфактурой под Калугой, построил в своей московской усадьбе парусную полотняную фабрику на 10 станов. От нее до наших дней сохранился одноэтажный объем возле церкви.

В 1789 г. внук А.А. Гончарова Афанасий Николаевич (дед Н.Н. Гончаровой) был пожалован дворянством. По его заказу архитектор И.В. Еготов в конце 1790-х гг. существенно перепланировал усадьбу. Он частично разобрал старинные палаты и возвел по красной линии Яузской улицы главный дом в стиле классицизма, соединенный деревянными галереями-переходами с двумя боковыми каменными флигелями. Второй этаж главного дома и мезонин, в отличие от каменного первого, были выполнены из дерева. По окончании строительства усадебный дом был включен М.Ф. Казаковым в знаменитые «Архитектурные альбомы».

К началу XIX столетия финансовое положение семьи Гончаровых существенно ухудшилось. Причиной этого явилась пагубная страсть Афанасия Николаевича, прокутившего и проигравшего в карты все фамильные миллионы. Усадьбу на Яузской улице пришлось продать. Новым ее владельцем стал генерал-фельдмаршал граф И.В. Гудович, главнокомандующий Москвы в 1809–1812 гг. Недолго пробыв ее хозяином, он уступил владение купцу А.М. Смирнову.

В пожар 1812 г. усадьба серьезно пострадала. После войны она была отремонтирована и перестроена. Разобран сгоревший деревянный второй этаж и галереи-переходы от флигелей к главному дому. В виде трех отдельных строений — одноэтажного главного дома и двух двухэтажных боковых флигелей — усадьба и простояла до 2000-х гг.

Смирнов удержал за собой только соседний особняк, располагавшийся на углу Яузского бульвара и выстроенный им для своего сына, профессора Московского университета С.А. Смирнова. Бывшее же владение Гончаровых в 1818 г. он продал вологодскому купцу-чаеторговцу Филиппову, который устроил здесь сначала лавки, а потом чаеразвесочную фабрику, просуществовавшую до 1917 г.

После революции усадьба была переоборудована под размещение коммунальных квартир, располагавшихся здесь до 1990-х гг.

В 2007 г. началась реставрация, в ходе которой были найдены и законсервированы палаты XVII в., кирпичные своды конца XVIII столетия, восстановлена прекрасная изразцовая печь, установленная в доме вскоре после пожара 1812 г. Усадьбе возвращен облик начала XIX в. Сейчас она предстает перед нами в том виде, в каком зафиксирована на страницах «Архитектурных альбомов» М.Ф. Казакова.

После реставрации здесь разместились дома моды, рестораны и различные конторы.