Крупнейший католический храм России, изначально он строился как филиал другой церкви, ныне не действующей.

Изначально центром московских католиков был Милютинский переулок, где в конце XIX в. располагалось два храма: во имя св. Людовика (посещавшийся преимущественно французами, итальянцами и испанцами) и во имя свв. Петра и Павла (прихожанами были немцы, поляки, литовцы и другие выходцы из Центральной и Восточной Европы). Со временем второй храм стал слишком тесен, и польская часть паствы предложила построить третью церковь как филиал. Прошение было направлено генерал-губернатору Москвы в 1894 г. Власти дали разрешение, но поставили условия: новый храм должен быть построен не в центре Москвы, в отдалении от православных церквей, без башен и изваяний. В качестве подходящего места была выбрана Малая Грузинская улица. Дополнительным фактором, вероятно, послужило то, что неподалеку располагался Брестский вокзал (ныне — Белорусский), связывавший Москву с западными губерниями.

Строительство церкви заняло длительное время: начатые в 1901 г. работы были в целом завершены лишь в 1911 г., тогда же состоялось освящение храма, а внутренняя отделка продолжалась вплоть до революции. Условие об отсутствии изваяний и башен было соблюдено лишь частично: проект польского архитектора Ф.О. Богдановича-Дворжецкого (ранее построившего католический храм в Самаре) был выдержан в стиле неоготики и предусматривал создание небольших декоративных башенок-шпилей, а также светового фонаря в средокрестии, увенчанного шпилем с крестом. Вытянутые стрельчатые окна дополняются обширной розой над главным входом. Крестообразное в плане здание было создано просторным, его стены могли вместить до 5000 человек. Территорию храма в 1911 г. окружила ограда, созданная Л.Ф. Даукшем в том же неоготическом стиле.

После революции храм утратил филиальный статус, приход стал независимым. Однако в 1938 г. богослужения в нем полностью прекратились, интерьеры практически полностью уничтожены, освободившееся помещение отдано под общежитие. Во время немецких бомбардировок несколько снарядов упало на здание, нанеся серьезные повреждения. После войны церковь утратила все остававшиеся на тот момент башенки и другие декоративные детали фасадов, а ее внутреннее пространство поделено на 4 этажа — здесь в 1950-х гг. находился НИИ «Мосспецпромпроект». По иронии судьбы в советскую эпоху на соседней улице Климашкина расположилось посольство Польши.

В 1990 г. сформировался польский католический приход Непорочного Зачатия Пресвятой Девы Марии, начавший борьбу за возвращение здания верующим. Поначалу мессу служили на ступенях собора, внутрь удалось войти только в 1996 г. Перестроенное, утратившее храмовый облик и долго не ремонтировавшееся здание срочно требовало реставрации — в течение трех лет она было проведена. Сегодня церковь имеет именно тот облик, который задумывал Ф.О. Богданович-Дворжецкий в начале ХХ в.