Дом № 4 по Большому Кисловскому переулку с кариатидами на третьем этаже до 1884 г. был небольшим двухэтажным домом с мезонином и принадлежал купеческой семье Коншиных. На него обратила внимание Зинаида Денисовна Перепелкина, решившая перевести свою Частную женскую классическую гимназию из Немецкой слободы поближе к центру. Ей удалось убедить владельцев надстроить его двумя этажами и устроить на втором этаже большой актовый зал. Слева от дома был большой сад, в котором гуляли гимназистки.

История гимназии ведет свое начало с 1846 г.; это был женский частный пансион Игнатия Гавриловича Дельсаль в Посланниковом переулке. В пансион принимались только сироты или девицы, родители которых жили в провинции. Для благородной девицы обязательным считалось знание французского, английского и немецкого языков, умение играть на фортепьяно, кое-какие рукоделия, прохождение краткого курса закона Божия, истории, географии и арифметики. В 1880 году М.И. Дельсаль уступает это учебное заведение Зинаиде Денисовне Перепелкиной, потомственной дворянке. Гимназия, получившая название «Частная женская классическая гимназия З.Д. Перепелкиной», в 1884 г. переехала в дом на Б. Кисловской ул. Учиться в этой гимназии было престижно, гимназистки получали хорошее классические образование с эстетическим уклоном: так, например, им преподавали актерское мастерство, классические танцы, рисование и т.д. Спустя какое-то время З.Д. Перепелкина выкупила у Коншиных дом, а в 1906 г. продала гимназию Марии Густавовне Брюхоненко. Гимназия Брюхоненко располагалась в этом здании до 1910 г., до того как она переехала в свое новое здание в Столовом переулке.

Самые известные выпускницы гимназии Брюхоненко были Вера Левченко (Холодная), которая на выпускном вечере в актовом зале этого дома познакомилась со своим мужем, под чьей фамилией и была знаменита, Марина и Анастасия Цветаевы, Наталья Сац, Елена Дьяконова, которую весь мир знает как Галу Дали.