По четной стороне Камергерского переулка есть очень интересный жилой дом. Во-первых, несмотря на то, что стоит он фактически в середине переулка, адрес привязывает его к Большой Дмитровке. А во-вторых, он является прямым напоминанием о стоявшем во дворе Георгиевском монастыре.

Собственно, сам монастырь упразднили еще в 1816 году (восстанавливать его после пожара 1812 года никто не взялся), но оставались храмы, главный сделался обычным приходским, со временем трансформировавшись в своеобразный домовой храм Императорских театров. Работал храм «по профилю» и после революции, пока в мае 1930 года администрация Большого театра не потребовала снести к тому времени уже закрытую церковь для строительства мастерских. Реставраторы предложили сохранить храм, перестроив его в требуемые мастерские. Однако не удалось. На какое-то время здание храма передали под нужды столичному таксопарку, а потом снесли. На его месте была выстроена типовая советская школа № 179 как символ «социалистического просвещения вместо церковного мракобесия».

В 1816 году на его территории монастыря, на углу улицы и переулка, началось строительство помещений для священнослужителей Архангельского и Благовещенского соборов. Два корпуса вытянулись по красной линии Камергерского: одно — угловое, двухэтажное, с собственной молочной лавкой; другое — одноэтажное, Г-образное, пристроилось рядом. Здания постепенно подрастали согласно прихоти и потребностям владельцев, но окончательно изменили свой вид в 1897 году, когда архитектор Иван Гаврилович Кондратенко приступил к полной перестройке вверенного комплекса синодального ведомства. В результате на Дмитровке появилось здание «с толстыми эркерами», где в 1904 году существовала «Художественная фотография» Д. И. Песчанского, служившая «местом для явок, собраний, конференций, там же хранились литература, оружие и некоторые вещи, принадлежавшие Военно-техническому бюро», Здесь же печаталось большинство открыток с едкими карикатурами зубного доктора Чемоданова, что «хотел быть врачом, но врачевать не отдельных индивидуумов, а общественные язвы, и орудием исцеления избрал не скальпель, а перо и карандаш».

В Камергерском переулке доходный дом комплекса с современным адресом Большая Дмитровка, д. 5/6, стр. 3 вобрал в себя изрядно перестроенные кельи Георгиевского монастыря 1806 года. Особенность планировки определила именно необходимость включения уже существующего строения в новое, потому по продольной оси и сейчас явно выделяется капитальная стена, ранее служившая дворовым фасадом. Первый этаж отводился под магазины, остальные занимали квартиры, сдаваемые внаем. Ну, а подвалы у здания, старые, сводчатые, хранят свои тайны и по сей день. В этом же дворе сохраняется еще один неисследованный остаток древнего монастырского ансамбля – строение 2, сильно перестроенный Игуменский корпус, возможно, включивший объемы XVII века.

В 1940 — 1950-х годах ряд интерьеров переделали, и от того времени сохранялось лишь оформление кафе «Артистическое» (которое, меняясь, существовало здесь с 1903 года) — массивная лепка, роспись потолков, колонны с позолоченными капителями, мраморные камины... Ныне и оно утрачено.

В этом же доме 16 мая 1886 года родился поэт В.Ф. Ходасевич, а в 1947-1953 годах. в коммунальной квартире жил и работал композитор С.С. Прокофьев. Сергей Сергеевич скончался от гипертонического криза 5 марта 1953 года, в день смерти Сталина. Дирижер Геннадий Рождественский вспоминал: «О кончине я услышал от знакомых по телефону. В консерватории нашлось несколько человек, которые решили пройти в проезд МХАТа (ныне Камергерский) - поклониться великому праху. Помню, что в этой группе были композитор Карен Хачатурян и пианист Лазарь Берман. Но пройти туда было почти немыслимо - весь центр был оцеплен. Нам все же удалось уговорить какого-то лейтенанта, он нас пропустил. Прокофьев лежал на тахте в маленькой комнате. Рядом - этажерка с нотами (он работал над балетом "Каменный цветок") и полка с пластинками фирмы RCA на 78 оборотов - с записями его произведений. Траурная церемония должна была пройти на следующий день в Союзе композиторов на Миусах. Но шла многотысячная толпа, и подогнать автобус к дому оказалось невозможно. Тогда гроб с телом композитора понесли на руках шестеро студентов-добровольцев. Два километра они прошли за пять часов, иногда опуская свою печальную ношу на мерзлый тротуар, чтобы отдохнуть. Потом была траурная церемония, на которой Шапорин сказал, что Прокофьев был "почти гениален..."»

24 июня 2008 года в доме открылся музей С.С. Прокофьева, занимающий два этажа. Экспозиция включает воссозданную обстановку находившейся здесь квартиры композитора, рассказывает о наиболее значительных произведениях, событиях, творческих контактах последнего двадцатилетия жизни и творчества С.С. Прокофьева. В мемориальном кабинете композитора демонстрируются подлинные вещи, предметы мебели, сопровождавшие жизнь Прокофьева.

Здание является объектом культурного наследия регионального значения.