История усадьбы на Большой Никитской, где со стороны бывшего сада на границе участка в Среднем Кисловском переулке стоит этот четырехэтажный дом кирпичного стиля, прослеживается с 1710 г. Тогда это большое владение принадлежало дворянам Колычевым. Это старинный боярский род, к которому, в частности, принадлежал святой митрополит Филипп, обличитель опричнины, замученный на Соловках при Иване Грозном. В 1802 г. по Большой Никитской был выстроен трехэтажный главный дом с колонным портиком, по бокам – два флигеля, въезд во владение устроен через арку между домом и правым флигелем. Усадьба вносится в альбом партикулярных строений М. Ф. Казакова.

Род Колычевых пресекся в начале XIX в., но еще раньше усадьба перешла в руки их родственников, князей Горчаковых. У них в 1856 г. усадьба покупается Синодальной конторой для размещения тут Синодального хора и Московского синодального училища церковного пения.

Синодальный хор был создан в Москве в начале XVIII в. Он пел в кремлевских соборах во время служб. Сначала в его состав входили только певцы-мужчины, но с 1767 г. в хор были официально введены детские голоса. А если дети, то их надо учить, и была образована школа для подготовки хористов кремлевских соборов. Сначала это было 4-классное заведение по типу епархиальных училищ, но с 1886 г. началось серьезное реформирование училища, чтобы оно могло давать мальчикам, поступавшим в хор в 7-8-летнем возрасте, образование, близкое гимназическому, а по музыкальным предметам ‒ к консерваторскому курсу. Особое внимание уделялось изучению церковного пения и регентского дела. 

Возглавить училище и реформировать его пригласили известного музыковеда, палеографа, хорового дирижера и педагога из Казани С. В. Смоленского, автора новой методики преподавания церковного пения. Благодаря ему в училище пришли многие его талантливые ученики, в их числе А. Д. Кастальский, в том же переломном 1886 г. принятый в училище как преподаватель фортепиано и помощник регента Синодального хора. Основной их целью стало создание церковно-музыкального центра, призванного заниматься восстановлением, изданием, обработкой и исполнением древних церковных распевов.

В начале 1890-х гг. синодальный архитектор В. Д. Шер, двоюродный брат Достоевского, перепланировал главный дом и пристроил к нему перпендикулярно во дворе трехэтажный корпус с квартирами для директора и инспектора училища и концертно-репетиционным залом (ныне Рахманиновский зал консерватории), акустика которого повторяла акустику Успенского собора Кремля. А в 1897 г. он выстраивает по задней границе владения (Средний Кисловский переулок, д. 4, стр. 2) вместо прежнего двухэтажного флигеля четырехэтажный дом с квартирами для преподавателей. Дом составляет со всем комплексом органичное целое. Был устроен переход через второй этаж из дома в залы, чтобы преподаватели могли удобно ходить туда из своих квартир. 

На верхнем этаже располагается квартира директора училища. А всего в доме 13 квартир, расположенных вокруг четырехмаршевой лестницы, освещенной световым фонарем. Четыре на первом этаже, по три – на остальных. Комнаты объединены в анфиладу, кухня и подсобные помещения примыкают к черной лестнице, окна кухонь выходят на лестничную площадку.

Первыми в доме поселились С. В. Смоленский, А. Д. Кастальский и П. Г. Чесноков. Чуть позже – композитор А. В. Никольский и хоровой дирижер Н. М. Данилов. В 1912-м одну из квартир занял Н. С. Голованов, известный советский дирижер, а в то время выпускник училища синодальных певчих.

После революции училище присоединили к консерватории, дом этот так и остался жилым, до 2009 г. в нем даже жил потомок одного из преподавателей Синодального училища. 

В 2009 г. жильцов стали выселять, а у консерватории появились планы во дворе под Рахманиновским залом и «домом синодальных композиторов» построить многоуровневый подземный гараж, перекрыть сам двор, а вместо дома сделать библиотеку. Но жильцы сплотились, создали ТСЖ и заявили дом на охрану. Эта борьба за сохранение дома сплотила все градозащитные силы Москвы. И теперь он стоит на охране как федеральный ОКН.

По новому плану реконструкции в бывшем жилом доме будет библиотека, внешние стены дома сохранятся, читальный зал пристроят извне, внутри будет перепланировка с сохранением парадной лестницы и одной мемориальной квартиры ‒ А. Кастальского.