В основе существующего дома – каменные палаты, построенные в последней трети XVII века, когда это владение принадлежало братьям Михаилу и Ивану Гурьевым – богатым купцам, имевшим звание (статус) гостей и относившимся, таким образом, к самой привилегированной части купечества. Гости были освобождены от уплаты пошлин и городских налогов, а также имели право свободного выезда за границу по торговым делам. Купеческий род Гурьевых происходил из Ярославля, где они занимались торговлей, в 1640-х годах они на свои деньги построили острог на реке Яик (Урал), ставший одним из важных русских форпостов в северном Прикаспии (позже – город Гурьев, теперь – Атырау). Тогда же Гурьевы начали разработку рыбных промыслов на реке Яик.

В 1671 г. братья Гурьевы уже числились владельцами усадьбы в Потаповском (ранее – Большом Успенском) переулке. По всей видимости, тогда же они и построили каменные палаты. Одноэтажные на высоком подклете, они были поставлены в глубине обширного владения и выходили торцевым фасадом в переулок. В «Росписи дворов» 1688 года дом описывался так: «Двор гостей Гурьевых, у них на дворе полаты, половина крыта дерном, а другая крыта тесом, да чердак шатровой высокой, крыт тесом».

В 1728 г. Алексей Гурьев продал усадьбу шталмейстеру Дворцового конюшенного ведомства Родиону Кошелеву. Новый владелец сделал каменную пристройку к палатам со стороны двора, а также переделал фасады дома в соответствии с новой архитектурной модой: окна были обрамлены нарядными барочными наличниками, между окон были поставлены полуколонны, стены оформили рустом.

Кошелевы владели усадьбой до 1780-х годов, когда продали ее купцу Михаилу Колосову, а тот несколько лет спустя – английскому купцу Доути. Колосов расширил дом за счет пристроек со двора и по переулку, а Доути в конце 1790-х годов построил новый флигель вдоль переулка, который позже был объединен с главным домом. В пожаре 1812 г. усадьба не пострадала.

В 1821 г. усадьбу купил калужский купец Петр Золотарев и сделал ее доходным владением: дом (надстроенный в 1840-е годы еще одним этажом) и флигеля сдавались внаем. В усадебном доме в разные годы размещались частные учебные заведения: пансион для девочек госпожи Шрейдер, пансион Брюло, мужской пансион пастора Людвига Эннеса, у которого преподавали профессора Московского университета – историк и фольклорист А.Н. Афанасьев, математик Ю.К. Давидов, экономист И.К. Бабст. Среди воспитанников пансиона были прославленные в будущем люди: врач Сергей Боткин и историк Владимир Герье.

С 1870 г. усадьба ненадолго перешла в руки известного купца и мецената Василия Кокорева. Общественный деятель и коллекционер, обладатель некогда богатейшей коллекции русской и европейской живописи, он к тому моменту был на грани разорения из-за финансовых проблем. Усадьбу в Потаповском переулке он также использовал как доходное владение. При нем была надстроена часть дома по переулку, устроена большая арка для проезда во двор, фасады приобрели тот облик, который сохраняется до сих пор.

В 1881 г. хозяевами усадьбы стали купцы Абрикосовы, владельцы знаменитой кондитерской фабрики в Москве (ныне Бабаевская), крупнейшие производители сладостей в Российской империи. Большая семья Алексея Ивановича Абрикосова (у него было 22 ребенка, 17 дожили до взрослых лет) занимала 2 большие квартиры на первом и втором этаже в старой части дома. Остальные квартиры – в той части дома, что выходит в переулок, и во флигелях – сдавались внаем.

Интерьеры большой 12-комнатной квартиры Абрикосовых на первом этаже были оформлены изысканно и богато: изящная лепнина на потолке и стенах (в некоторых местах – с позолотой), декорированные лепниной дверные порталы, живописные десюдепорты, наборный паркет, украшенные резьбой двери, мраморные подоконники.

Абрикосовым усадьба принадлежала до революции 1917 г., после чего была национализирована. Все квартиры, в том числе и уникальную абрикосовскую, превратили в коммунальные. В 1930-х гг. дом надстроили двумя этажами и разделили на коммунальные квартиры. В начале 2000-х главный усадебный дом был признан аварийным и расселён, а после пожара, случившегося в декабре 2009 г., часть надстроенных этажей обрушилась.

Благодаря архивным изысканиям и натурным исследованиям, усадьбу отреставрировали на период 1930-х гг. Два разобранных этажа воссоздали в полном объёме. Мастера аккуратно отреставрировали сводчатые палаты с сохранением исторической планировки. Стены укрепили, окна и двери восстановили по историческим следам. Фасады первых двух этажей отреставрировали с сохранением штукатурного декора XIX в.

В интерьерах главной задачей реставраторов было воссоздание исторической квартиры Абрикосовых. Специалисты восстановили оригинальный пол, кафельные печи, карнизы и богатый декор стен в парадных помещениях. На историческом месте восстановили зеркало в узорной раме. Несущие конструкции внутренних лестниц переделали. Усадьбу приспособили под жилые цели.

В 2023 году Палаты Гурьевых стали лауреатом конкурса Правительства Москвы "Московская реставрация".