Владение на этом берегу Москвы-реки овеяно легендами, не имеющими прочной исторической основы: называются имена боярина Ивана Никитича Берсеня-Беклемишева и даже знаменитого опричника Малюты Скуратова. Считается, что деревянный дом с каменным подклетом существовал здесь уже в XV-XVI веках – его следы были найдены реставраторами. 

Ясность в вопросе о владельцах наблюдается лишь с начала XVII века, когда земля переходит к сыновьям Степана Кириллова. В середине того же столетия единоличным хозяином территории становится думный дьяк Аверкий Кириллов – богатый купец и государственный деятель. На пике своей карьеры он возглавлял Казённый приказ, приказ Большого дворца и ряд других учреждений, ведавших торговлей, финансами государства и сбором налогов. Деятельность Аверкия Кириллова оборвалась в 1682 году, когда во время стрелецкого бунта стрельцы, поддерживающие царевну Софью, убили его как сторонника рода Нарышкиных.

Общественное положение Кириллова не могло не отразиться на облике его дома. В результате каменные палаты были выстроены с большим размахом: пышные наличники, изящные полуколонны и пилястры, карнизы с поребриком – всё это свидетельство о высоком благосостоянии хозяев. Богатство дома ярко описывали иностранные гости, дивившиеся не только красивым фасадом и впечатляющим двором с садом, но и богатым убранством с дорогой мебелью и обстановкой. О времени постройки дома можно судить по круглой плите в центре свода большой палаты – закладному камню с датой «1657». Соседняя церковь святой Троицы, более известная под названием Никольской на Берсеневке, также была выстроена Кирилловым, считалась его домовым храмом и даже соединялась деревянным переходом непосредственно с палатами. Здесь же в 1682 году был похоронен и сам Аверкий Кириллов. Церковь, лишившаяся в ХХ веке колокольни, сохранилась до наших дней и находится совсем рядом.

Окончательно облик здания сформировался в начале XVIII века, когда владение принадлежало дьяку А.Ф. Курбатову. В это время был выстроен верхний этаж, ранее бывший деревянным, а фасад получил европейские детали: волюты с тонкой белокаменной резьбой, руст на углах и каменный козырёк над входом. По одной из версий, достройкой дома ведал архитектор Иван Зарудный.

В дальнейшем палаты Аверкия Кириллова перешли в казну и были заняты различными учреждениями: камер-коллегией, межевой канцелярией, разрядным архивом, московской казённой палатой, сенатской курьерской командой. С 1870 года дом стал цитаделью защиты культурного наследия России: здесь обосновалось Императорское Московское археологическое общество во главе с графом Уваровым. После революции здание занимали различные научные учреждения, ныне здесь располагается Российский институт культурологии. Реставраторы поддерживают облик дома и продолжают исследование его истории.