В XVIII веке на углу Воздвиженки и Б. Кисловского переулка находилась усадьба дворян Матюшкиных, родственников Романовых еще по царице Евдокии Лукьяновне. С 1776 г. усадьба принадлежала инженер-генерал-майору И.И. Раевскому. В 1844 г. усадьбу с большим количеством построек, которая занимала весь квартал между Воздвиженкой, Большим и Нижним Кисловским переулками, купил Григорий Михайлович Устинов. Сюда он переехал из большого представительного особняка Устиновых в начале Воздвиженки, который он продал Министерству финансов. Там до революции располагалась Казенная палата, а теперь Музей архитектуры. Отец его, Михаил Андрианович (1754–1838), саратовский купец, своим трудом создал благосостояние семьи и перешел в дворянство из купеческого сословия. От его пяти сыновей – Александра, Василия, Михаила, Адриана, Григория – пошли пять ветвей рода. Григорий Михайлович Устинов (1803–1860), пожалуй, самый беспутный из всего устиновского потомства. Он продал и растратил все московское имущество семьи.

В 1870-е годы владение куплено братьями Азанчевскими. Был перестроен главный дом усадьбы, где разместились квартиры, сдававшиеся внаем. В этом доме провел детство композитор С.Н. Василенко. Его отец в 1870-х гг. был управляющим имениями Азанчевского и занимал квартиру на первом этаже: "Отлично помню обширную залу, длинную белую гостиную с окнами в сад и отцовский кабинет... Перед нашей квартирой был порядочный палисадник – густая полоса акаций вдоль решетки, совершенно закрывавшая улицу, разросшиеся группы сирени, жасмина и других кустов, молодые тополи и клены, цветочные клумбы".

В доме Азанчевского жила С.Н. Львова, с которой был близок С.А. Соболевский, известный библиофил, друг Пушкина. По словам современника, "он до смешного ухаживал за Львовой, бродил под ее окнами, нанимал ложу против той ложи, которую она взяла, чтоб только смотреть на нее". Соболевский собирался жениться на ней и поехать вместе за границу, но внезапно умер. Он завещал все Львовой, и она, уехав за границу, продала, не пожалев, его замечательную библиотеку и архив. Книги разошлись по разным покупателям, но бумаги, к счастью, приобрел граф С.Д. Шереметев.

В конце XIX века все владение купила Анна Ивановна Колокольцева. В начале XX века дом нанимала частная гимназия Н.П. Щепотьевой. Сейчас здесь находится Институт языкознания РАН