Когда-то в этих краях располагалась Кисловская слобода. Здесь жили служащие Оружейной и Мастерской палаты, а также кремлевских теремов: истопники, сторожа, комнатные бабки, постельницы, мастерицы и т. д. Земля была поделена на небольшие участки и крайне плотно застроена деревянным «дворовым и хоромным» строением. Кисловская слобода сильно выгорела в крупном пожаре 1712 г. и после этого долго пустовала. В конце 1720-х гг. ее стали отдавать «охочим людям» в оброк. На месте современного дома 4 поселился стольник А. М. Греков с семьей, здесь же в первой половине XVIII в. жили его наследники. Аренду за землю они платили в Оружейную палату оброчными деньгами.

В конце XVIII в., согласно архивным источникам, здешней землей владела семья купца Ивана Васильевича Попова, торговавшего в свое время в овощном ряду городской части Москвы, а затем его вдова. В этот период на планах в глубине участка можно увидеть небольшой каменный дом, обращенный главным фасадом в сторону входных ворот, – современное строение 1. Небольшие размеры здания позволяют предположить, что оно использовалось как помещение для прислуги, а сами хозяева жили в большом деревянном доме, выходившем на переулок.

После пожара 1812 г. усадьба перешла во владение генерал-майора А. Д. Арсеньева. При нем каменный флигель (строение 1) надстроили и возвели к нему пристройку. С 1817 по 1860 г. владельцем значился купец Никифор Никитин, а затем его наследники; в это время никаких глобальных перестроек в усадьбе не происходило.

В 1860-х гг. усадьба принадлежала статскому советнику П. Ф. Секретареву, владевшему также соседним участком (№ 6), где он открыл частный театр, известный всей театральной Москве как «Секретаревка». Здесь начинали играть такие актеры, как Н. П. Рощин-Инсаров, А. Р. Артем, Н. И. Музиль. На сцене «Секретаревки» впервые выступил Константин Сергеевич Станиславский. На подмостках этого театра ставили пьесы, которые, в том числе и из соображений цензуры, не могли идти на императорской сцене.

После Секретарева усадьба сменила еще несколько владельцев, но основательная перестройка главного дома произошла только в 1891 г. при тогдашней хозяйке почетной гражданке Е. П. Щепкиной. Здание расширили за счет двухэтажной пристройки и немного увеличили в высоту. Одновременно были изменены внутренняя планировка дома и декор фасадов, приобретших черты поздней эклектики с характерным для этого стиля богатым лепным декором, имитирующим элементы классического ордера, с лепным «гербом» с инициалами владельца в аттике, усложненным рисунком лепных оконных обрамлений. Проект был выполнен зятем Щепкиной архитектором Д. Д. Подлужиным. Архитектурное убранство фасадов хорошо сохранилось до нашего времени.

В 1893 г. хозяйкой усадьбы стала вдова архитектора Надежда Петровна, а в начале ХХ в. дом стали сдавать внаем различным конторам и под жилье. В 1911 г. здесь разместилось отделение Варваринского акционерного общества домовладельцев, преуспевающего в то время предприятия, занимавшегося недвижимостью. В 1917 г. – правление для еврейских молитвенных учреждений Москвы.