С середины XVIII века обширное владение на четной стороне 1-й Мещанской улицы (ныне – проспект Мира) принадлежало купцу 1-й гильдии, именитому гражданину Луке Ивановичу Долгову.

В старину здесь располагалось загородное поместье князей Пожарских, позже перешедшее к князьям Долгоруким. Вскоре после заключения Андрусовского перемирия с Польшей в 1667 году и устройства за Сретенскими воротами Земляного города Мещанской слободы владение это было выкуплено казной и поделено на слободские дворы.

Часть бывших слободских дворов (современные дома №№ 16-20) и была приобретена Л.И. Долговым.

Лука Иванович очень удачно выдал замуж своих дочерей. Одним его зятем стал знаменитый зодчий Василий Иванович Баженов, другим – известный московский архитектор Елизвой Семенович Назаров.

К 1770 году Долгов построил на своей земле трехэтажный каменный особняк по проекту, вероятнее всего, Баженова. Этот дом зафиксирован в знаменитых Альбомах М.Ф. Казакова. Сохранился он и поныне, но после пожара 1812 года был перестроен и лишился верхнего этажа (современный дом № 16 по проспекту Мира).

А спустя пять лет, в 1775 году, Е. Назаров строит для своего тестя еще одно здание по соседству с первым (ныне это дом № 20). Прекрасный усадебный особняк в классическом стиле.

После смерти Луки Ивановича владение перешло к его вдове Сусанне Филипповне (урожденной Аршелевской). Позже часть его была продана. Но дом № 20 оставался в семье Долговых до 1863 года, когда его купил известный московский врач, профессор, почетный член Императорской Санкт-Петербургской академии наук Г.А. Захарьин (1829–1898). В этом особняке на 1-й Мещанской улице прошли последние годы Григория Антоновича. В конце XIX – начале ХХ в. усадьба принадлежала его сыну Сергею Григорьевичу, который продал дом симбирскому купцу Василию Афанасьевичу Арацкову.

При Арацкове особняк был перестроен по проекту молодых и малоизвестных тогда архитекторов братьев Весниных. Фасады здания получили новые декорации в ампирном духе. В центральной части фасада был выполнен эркер в виде полуротонды с колонным портиком, на оконных камнях первого этажа появились маскароны в виде «замараевских» львов, а сами окна были растесаны. Также была осуществлена перепланировка интерьеров, получивших новые лепные украшения.

В настоящее время здесь располагаются различные учреждения и коммерческие организации. Здание находится на государственной охране как объект культурного наследия федерального значения.