Еще недавно про этот уникальный старинный дом 24 в Большом Афанасьевском переулке было известно немного. Но факт, что его фасад выдается за красную линию переулка говорит о том, что стоит он тут очень давно и имеет долгую историю.

Более ста лет (1649–1755 год) домом владел род Зиновьевых. Стольник П.П. Зиновьев выстроил каменные палаты на своем участке в 1680–1690-х годах. Известно, что в 1685 году Зиновьев получал ссуду на каменное строительство. Именно этим периодом датируют дом реставраторы. Дом состоит из двух небольших объемов 1680-х годов и средины XVIII века, позже объединенных и надстроенных вторым этажом.

Из рода Зиновьевых, владельцев этого дома, была жена петровского гардемарина и московского губернатора князя Бориса Юсупова Ирина Михайловна. И князь, заботясь о своей престарелой теще, устроил тут домовую церковь во имя Владимирской иконы Божией Матери.

В 1776 году палаты принадлежат уже прадеду Льва Николаевича Толстого графу Андрею Ивановичу. Внук первого графа в роду Толстых Петра Андреевича, деятельнейшего сотрудника Петра I, не сделал блестящей карьеры. Служил секунд-майором в Казанском гарнизоне, потом членом Главной дворцовой канцелярии.

Последним владельцем этого дома был брат жены Льва Толстого Александр Андреевич Берс — действительный статский советник, Орловский вице-губернатор, женатый на грузинской княжне из рода Эристовых. Он жил тут после того, как вышел в отставку. Работал в Московском Земельном Банке и умер в 1918 году. О нем много вспоминала в своих записках "Моя жизнь дома и в Ясной Поляне" его сестра Т.А. Кузминская.

На данный момент в здании располагается Музей Международного нумизматического клуба.

В XIX веке дом перестроили в ампирный особняк с мезонином. В 1860-е годы он был переделан в формах модной тогда эклектики, а к концу столетия был надстроен третий этаж и декор фасадов еще раз изменен. Так что пока в наше уже время над домом не стали работать реставраторы в нем не возможно было узнать палаты XVII века.

В 2000-х годах дом сначала лишился своего доходного соседа, за который он держался. Потом снесли все хозяйственные постройки во дворе, после чего вокруг дома построили новый жилой комплекс. Много лет дом стоял без крыши, почти совсем разрушенный. Дом был вызван «из небытия» усилиями неравнодушной общественности, активистами движения Архнадзор. В 2002 г. ЗАО "Ластея-АРТ", построившее на участке рядом с палатами жилой комплекс, получило в собственность и дом Зиновьевых — Юсуповых.

В 2003—2006 гг. были проведены противоаварийные работы: демонтирован поздний третий этаж и пристройки со стороны двора, укреплены фундаменты. 

В 2010—2012 гг. на объекте проведены комплексные ремонтно-реставрационные работы по проекту РБО ЦТРК "Преображенское", архитектор Т.С. Борисова. Здание было воссоздано в облике середины XVIII в. с характерной высокой крышей, некоторой асимметричностью фасадов и высоким крыльцом XVII в. Настоящим открытием стало выявление сохранившегося окна XVII в. первого этажа дворового фасада. Находка позволила восстановить первоначальный облик всех окон первого этажа дворового фасада. Мастера сделали невозможное — они воссоздали дом таким, в каком жили Зиновьевы-Юсуповы в XVII–XVIII веке. Группа реставраторов во главе с Т.С. Борисовой получила первый приз на конкурсе "Московская реставрация" в 2012 году в номинации "За лучший проект реставрации".