Бывший доходный дом А.Д. Шереметева, построенный в 1895-1898 годах в стиле эклектики, расположен в непосредственной близости от Кремля. Для этого дома факт перенесения столицы обратно Москву сыграл значимую роль. Во время Гражданской войны строительство в городе не велось, и советское правительство разместилось в Кремле, гостиницах и облюбованных доходных домах.

Сам переулок менял название полдюжины раз, названный в честь жившего здесь боярина Никиты Романова, он назывался также Никитским (он начинался у Никитского монастыря), потом Хитровым, Разумовским, в начале XX века Шереметевым (последние два раза в честь владельцев богатейших домов), и наконец, с 1920 по 1992 в честь историка Грановского.

Доходный дом считался одним из самых престижных — сказывалось и расположение, и богатое архитектурное убранство. Архитектором был выбран А.Ф. Мейснер, «придворный» зодчий Шереметевых; он спроектировал его в духе французского барокко с элементами эклектики рубежа веков. Дом образует каре, с трех сторон охватывая парадный двор, он отделен от проезжей части оградой с воротами, внутри расположен фонтан — редкие примеры уцелевшей городской скульптуры и малых архитектурных форм.

5-й дом Советов был заселен виднейшими деятелями послереволюционной России, в первую очередь военноначальниками — здесь жили маршалы Буденный, Ворошилов, Жуков, Конев, Рокоссовский, Малиновский, Чуйков, Судец, Яков Сталин и Светлана Аллилуева, нарком Молотов, прокурор Вышинский, академик Намёткин, а также Фрунзе, Хрущев, Маленков, Косыгин, Булганин и многие другие.

Что любопытно, в том же доме оставались коммунальные квартиры, часто занимаемые людьми обыкновенных профессий. Высокопоставленные жильцы и их семьи могли пользоваться дополнительными благами — талонами на питание в спецстоловой, лечиться в «Кремлевской» поликлинике напротив, ездить на служебных «ЗИМах» и «Эмках», пользоваться служебной мебелью, но их дети общались во дворе с детьми рядовых граждан, а с 1950-х ходили и в обычную школу.