В 1886 г. купец первой гильдии, банкир, председатель московской еврейской общины Лазарь Соломонович Поляков приобрел в Спасоглинищевском переулке участок земли неподалеку от располагавшейся на углу Солянского проезда и действовавшей еще с 1870 года хоральной синагоги. Через год по проекту архитекторов С.С. Эйбушица и С.К. Родионова здесь началось строительство нового здания Московской хоральной синагоги. Работы были завершены в 1891 году, но молитвенный дом был опечатан по распоряжению городских властей. Разрешение на открытие синагоги московской еврейской общине удалось получить только через пятнадцать лет. Тогда же был приглашен известный зодчий Р. И. Клейн, который произвел перепланировку внутренних помещений с отделкой в древневосточной стилистике в сочетании с элементами модерна. 1 июня 1906 года синагога была торжественно открыта. Работы по отделке интерьеров продолжались и после ее открытия, до 1911 года.

Здание представляет собой купольную базилику в стиле классицизированной эклектики. Парадный фасад отмечен глубокой лоджией входа и мощным портиком из восьми спаренных колонн. В настоящее время синагогу венчает купол с шестиконечной звездой Давида. И хотя первоначальным проектом конца XIX в. этот купол был предусмотрен, он был убран по требованию обер-прокурора Святейшего синода К. П. Победоносцева и устроен снова уже только в 2001 году. С отсутствием купола на протяжении всего ХХ столетия связана одна московская легенда. Проезжая мимо строившегося здания и полагая, что возводится церковь, генерал-губернатор Москвы Великий князь Сергей Александрович перекрестился на купол. Узнав же, что строится не православный храм, он пришел в сильное раздражение и приказал купол немедленно убрать.

После открытия Московская хоральная синагога стала центром религиозной и общественной жизни еврейского населения России.

В советские годы синагога не закрывалась, хотя в 1920-е годы ее хотели переделать в пролетарский клуб. В 1948 году московские евреи торжественно приветствовали здесь посла Израиля Голду Меир.

В 2001 году на противоположной стороне Большого Спасоглинищевского переулка была установлена стена из колотого камня, олицетворяющая собой Иерусалимскую Стену Плача, а неподалеку от нее – скульптура «Птица Счастья», работы скульптора И. Бурганова – символ мира между народами.