Здесь родились Павел Третьяков (1832-1898), почетный гражданин Москвы, и его брат Сергей Третьяков (1834-1892), московский городской голова (1877-1881), а также их три сестры. Здесь жили предки знаменитых меценатов и коллекционеров, создателей выдающихся собраний русской и иностранной живописи, а впоследствии домом продолжали владеть их потомки. Этот дом стал родовым гнездом Третьяковых.

Типичный купеческий дом в Голутвине с каменным первым этажом и деревянным вторым был построен в 1791 г. полковницей М. М. Павловой. От того времени сохранился только нижний этаж, переживший пожар 1812 г. В личное владение купца третьей гильдии Захара Третьякова, деда Павла и Сергея Третьяковых, этот дом с прилегающей землей между 1-м Голутвинским переулком и Москвой-рекой и прочими строениями перешел по купчей 1795 г. В 1830 г. состоялся раздел земли, принадлежащей З. Е. Третьякову, между наследниками, и, как сказано в документе, дом «по любовному нашему согласию уступили мы брату нашему Михайле Третьякову в вечное и потомственное его владение».

По многочисленным воспоминаниям, которые сохранились об отце братьев Третьяковых Михаиле Захаровиче, он был человеком очень вдумчивым и крайне серьезно относился к образованию детей. Именно в этом доме в Голутвине дети получили полное домашнее образование. Кроме того, М. З. Третьяков в 1836-1845 гг. был церковным старостой церкви Николы в Голутвине, находящейся по соседству. Сами Третьяковы называли свою усадьбу «бабьегородским имением» и лишь однажды выезжали отсюда в связи с перестройкой второго этажа дома для нужд большой семьи. Переезд купеческой семьи произошел в особняк Рябушинских по соседству, с другой стороны от территории храма Святителя Николая Мирликийского в Голутвине. После смерти Михаила Захаровича в 1850 г. дом перешел в собственность братьев Павла Михайловича и Сергея Михайловича по достижении ими совершеннолетия.

На протяжении более века благоустраивалась территория, перестраивался дом, но неизменным оставались его границы и тип здания: «двухэтажное жилое, низ каменный, верх деревянный». К дому пристраивались тамбуры, лестницы, так называемые нежилые помещения. В качестве архитектора Третьяковы привлекали своего зятя А. С. Каминского. На территории находились фабричный корпус, сушильня, торговые бани, конюшня, сараи, погреба и многое другое.

Третьяковы владели домом до 1918 г., позже здесь до 1970-х гг. размещались коммунальные квартиры. В конце 1970-х гг., в период строительства соседней гостиницы ЦК КПСС (ныне ‒ «Президент-Отель»), дом пережил пожар и «реставрацию», во время которой подлинный мемориальный деревянный этаж разобрали и построили заново из кирпича, облицованного деревом.

Государственная Третьяковская галерея с начала 2016 г. ведет работы по консервации и реконструкции мемориального дома Третьяковых, который перевоплотится в ближайшие годы в музейно-мемориальный центр и станет новой точкой притяжения на маршруте арт-мили от здания Новой Третьяковки на Крымском Валу к Старой ‒ в Лаврушинском переулке.

В 2021 году реставрация была завершена. В ходе работ укреплены обветшавшие стены и проведена вычинка кирпичной кладки, по чертежам на основе исторических данных восстановлены деревянные оконные рамы из дуба.

Дом Третьяковых стал лауреатом конкурса "Московская реставрация - 2021" в номинациях "лучшая организация ремонтно-реставрационных работы" и "высокое качество ремонтно-реставрационных работ", архитекторы -реставраторы были награждены за научно-методическое руководство.