Вопреки официальному наименованию объекта культурного наследия федерального значения – «Усадьба Воронцова-Дашкова: дом, XVIII−XIX вв. с росписью плафона, белокаменные ворота, конец XVIII в.» – некоторые исследователи считают, что сведения о существовании здесь в конце XVIII века усадьбы графов Воронцовых – не более чем легенда. Согласно архивным документам, городская усадьба в XVIII–XIX вв. принадлежала, переходя из рук в руки, незнаменитым купцам и мещанам.

Зато архитектура этой усадьбы высоко ценится специалистами. Ее владельцы словно стремились посостязаться с лучшими особняками дворянской Москвы, и небезуспешно. Первое, что привлекает внимание в усадебном ансамбле – уникальная для Москвы уличная ограда парадного двора, в стиле классицизма конца XVIII века. Ворота имеют редкую форму со сдвоенными колоннами слева и справа, наверху – декоративные вазы.

Каменные дома на участке 4–6 по Воронцовской улице появились ориентировочно в конце XVIII столетия. В основе правого, главного, дома – палаты XVII века, они сохранились в подвале и частично на первом этаже здания. В первой половине XVIII века дом был перестроен и отделан в стиле барокко. На западном фасаде реставраторами восстановлены барочные наличники.

Планировка усадьбы сложилась к 1774 году, когда хозяйкой здесь была жена фабриканта Алексея Иванова. Главный дом был расширен до линии улицы, напротив него выстроили двухэтажный каменный флигель, а между ними поставили деревянный сарай с конюшней и погребом. Конечно же, был и усадебный сад: он доходил до улицы Большие Каменщики. Такая планировка сохранялась до 1816 года, когда флигель и главный дом получили одинаковые завершения – мезонины.

В 1830-е годы главный дом был полностью перестроен, но декоративная обработка фасада сохранилась до наших дней. И сегодня мы видим шесть пилястр ионического ордера, а также восстановленную лестницу XVIII века. В парадной анфиладе целы лепные карнизы и росписи плафонов того же времени. Внешне здание имеет ампирный облик: с тяжелыми веерными замками над окнами нижнего рустованного этажа, сложными сандриками и обильным лепным декором.

Усадебный флигель, расположенный слева от главного дома, изменился сильнее: в 1912 году его перестраивали для городского училища по проекту архитектора Н.Д.Струкова.