Три корпуса доходного дома Василия Панюшева занимали два участка между Арбатом и Сивцевом Вражком. Исторически сложилось, что два владения всегда принадлежали одному хозяину. В середине XIX в. это был действительный статский советник Н.М. Васильчиков, который продал все строения и два садика, выходившие один на Арбат, другой — на Сивцев Вражек, жене подпоручика Суходольской Софье Евлампиевне. В конце концов, участок достается купцу В. Панюшеву.

В 1912 г. здесь вырастают, по проекту архитектора Василия Казакова, три корпуса доходных домов, получивших в народе говорящее название «муравейник». Однако прозвище относилось больше к дворовым корпусам дома 51 (стр. 2 и 3), которые не были видны с Арбата. О них писал А. Рыбаков в «Романе-воспоминании»: «корпуса тесно стоят один за другим, низкие арочные проезды соединяют два глубоких темных двора, прикрытых квадратами серого московского неба».

Дом пережил революцию, после 1917 г. в просторные солнечные квартиры первого корпуса вселили рабочих и военных, потеснив старых хозяев. Шикарные квартиры превратились в коммуналки. Дом окончательно стал «муравейником».

Третий корпус выходил на Сивцев Вражек, он стоял в глубине сквера, который сохранился от прежних хозяев. А. Рыбаков, живший во втором корпусе в кв. 87, писал, что в дворовых корпусах были одинаковые «небольшие квартиры, тесные и темные». Они даже не подверглись уплотнению, потому что уплотнять было некуда.

Корпус всегда оставался жилым.