Домовладение, на территории которого находится усадьба, входит в объединенную охранную зону объектов историко-культурного наследия, расположенную на Ваганьковском холме. Изначально здание представляло собой двухэтажные палаты. Их владелец — думный дьяк Стрелецкого приказа Федор Шакловитый, сподвижник царевны Софьи — внес значительную лепту в видоизменение усадьбы. После него палатами владел московский главнокомандующий В. Я. Левашов. Его наследники также перестраивали здание, увеличив его в длину.

Последняя и самая значительная реконструкция памятника проводилась в 1877 году, при тогдашнем владельце В.К.Цетнерском. По проекту К.В.Гриневского бывший жилой дом превратился в доходный. Все существовавшие в тот период оконные проемы были заложены, а сводчатые перекрытия разобраны. Второй этаж увеличен по высоте, а над ним надстроен третий. Часть подклета оказалась под землей и была переделана в подвал.

К началу реставрации дом был полуразрушен и фактически представлял собой каркас из кирпичных стен. После пожара, случившегося в 1990-х гг., в доме обрушились все перекрытия и крыша. Мастера реставраторы приложили множество усилий, чтобы максимально сохранить элементы здания, относящиеся к прошлым векам. Во время реставрации вдоль фасадов оформили траншею — бетонную подпорку, облицованную камнем. Возвели стеклянное ограждение, а примыкающую территорию выделили каменной плиткой.

Специалисты восстановили разрушенную часть стены XVIII века дворового фасада. Со здания сняли грунт до первоначальных отметок XVII века. Произвели вычинку белокаменного цоколя. Разобрали все поздние закладки. Восстановили оконные проемы. Крыльцо входа во второй ярус палат реконструировали. Для сохранения вида, наиболее близкого к историческому, оставили без обмазки участки первоначальной кладки, оконные наличники и карнизы. Выступающий из плоскостей стен декор восстановили только в местах его полной утраты. Участки кладки XVII века со срубленным в XIX веке декором сохранили. Стены окрасили в желтый цвет, соответствующий обнаруженным в ходе работ колерам.

Городская усадьба дьяка А.И.Иванова-Левашовых стала лауреатом конкурса Правительства Москвы "Московская реставрация" в 2022 году.