Особняк в Гранатном переулке, более известный как «Дом архитектора», был построен в 1896 году во владении потомственной почетной гражданки Анны-Луизы Леман известным архитектором Адольфом Эрихсоном. Он спроектировал особняк в модном тогда неоготическом стиле, с нарядно декорированным фасадом, где сочетаются белокаменные резные детали и красный кирпич, со стрельчатыми окнами, высокими щипцовыми кровлями и парадным крыльцом с балконной площадкой наверху.

Внутри особняк был отделан богато и с изяществом. Декоративное оформление помещений выполнено в разных стилях: классическом, барокко, готическом. Композиционный центр дома – двухэтажный холл с парадной деревянной лестницей и обходной арочной галереей наверху, рядом – парадные гостиные залы и библиотека. Внутреннее убранство особняка сохранилось почти в первоначальном виде, утрачена была только большая часть мебели и некоторые детали интерьера.

Через несколько лет после постройки особняк был продан Петру Александровичу Базилевскому. Он происходил из старинного дворянского рода, был чиновником по особым поручениям при московском генерал-губернаторе великом князе Сергее Александровиче, потом камергером Двора Его Величества, позже – шталмейстером. Имел чин действительного статского советника, был последним предводителем дворянства Московской губернии. Был известен своей деятельностью в сфере государственной благотворительности, много делал по линии ведомства учреждений императрицы Марии (занимавшегося организацией и содержанием благотворительных учреждений за счет государственной казны).

После большевистского переворота 1917 года особняк был национализирован. Здесь размещались разные учреждения: главный штаб Реввоенсовета, в 1920-х годах – центральное бюро по обслуживанию иностранцев, в начале 1930-х – канцелярия посольства Франции.

В 1937 году дом был передан Союзу архитекторов СССР. Вскоре к особняку была сделана пристройка – новое здание со зрительным залом и рестораном (архитекторы А. Буров, А. Власов, М. Мержанов). В феврале 1941 года в здании открылся Центральный дом архитектора, который располагается здесь по сей день.