В XVIII веке на углу Воздвиженки и Б. Кисловского переулка находилась усадьба дворян Матюшкиных, родственников Романовых еще по царице Евдокии Лукьяновне. С 1776 г. усадьба принадлежала инженер-генерал-майору И.И. Раевскому. В 1844 г. усадьбу с большим количеством построек, которая занимала весь квартал между Воздвиженкой, Большим и Нижним Кисловским переулками, купил Григорий Михайлович Устинов. Сюда он переехал из большого представительного особняка Устиновых в начале Воздвиженки, который он продал Министерству финансов. Там до революции располагалась Казенная палата, а теперь Музей архитектуры. Отец его, Михаил Андрианович (1754–1838), саратовский купец, своим трудом создал благосостояние семьи и перешел в дворянство из купеческого сословия. От его пяти сыновей – Александра, Василия, Михаила, Адриана, Григория – пошли пять ветвей рода. Григорий Михайлович Устинов (1803–1860), пожалуй, самый беспутный из всего устиновского потомства. Он продал и растратил все московское имущество семьи.

В 1870-е годы владение куплено братьями Азанчевскими. По Кисловским переулкам на основе старых домов они построили трехэтажный доходный дом, где разместились меблированные комнаты. В 1881–1882 гг. тут жил Д.Н. Мамин-Сибиряк и работал над первым из романов, посвященных жизни горнозаводского Урала – "Приваловские миллионы". Здесь же располагалось и Общество распространения технических знаний, устраивавшее публичные лекции и издававшее книги и брошюры. В этом доме в 1852 г. жил поэт Н.Ф. Щербина, работавший тогда в газете "Московские ведомости", литературовед Н.И. Стороженко, останавливался в приезды в Москву математик А.М. Ляпунов.

В конце XIX века все владение купила Анна Ивановна Колокольцева, но у местных жителей эти дома все равно назывались домами Азанчевского. В 1920-х гг. здесь находилась гостиница "Октябрьская". В 1950-х годах в здании располагалась средняя школа № 92, это было второе ее здание. Первое (основное) здание школы располагалось по адресу: Б. Кисловский дом 4 стр. 2. В этой школе учились дети крупных советских чиновников и военачальников, проживавшие рядом по улице Грановского д. 3 (в 5-м Доме Советов): Хрущева, Маленкова, Буденного и многих других.

Сейчас здесь находится Институт языкознания РАН. 

В 2013 году вместо ворот в усадьбе был построен новый трехэтажный дом.