После страшной чумы 1770–71 годов из санитарных соображений власти запретили хоронить в черте города и вывели кладбища за Камер-Коллежский вал. Одним из них стало Калитниковское кладбище за Покровской заставой. На нем в 1773 году была освящена деревянная церковь во имя иконы Божией Матери «Всех скорбящих Радость».

По легенде, название местности связано с тем, что эту землю пожаловал Крутицкому подворью московский князь Иван Калита, но истории опровергли эту версию. Ближе к истине предположение, согласно которому здесь проживали калитники – мастера, изготовлявшие кожаные сумки и кошели, называвшиеся «калитами» (от того же слова появилось и прозвище московского князя).

Все кладбища, созданные в 1771–72 годах, обеспечивались временными деревянными храмами для отпевания умерших. На Калитниковском кладбище была возведена Скорбященская церковь, но в 1776 году она сгорела и была заменена новой деревянной с приделом во имя Боголюбской иконы Божией Матери. Эти работы велись на пожертвования московского оберполицеймейстера Н.П. Архарова.

В 1834–38 годах чуть поодаль построена существующая каменная церковь по проекту Н.И. Козловского. На месте алтаря деревянного храма сохраняется памятный столб с Боголюбской иконой Божией Матери.

Основная часть церкви представляет собой здание в стиле ампир: кубический объем, увенчанный ротондой с куполом и малой главкой. С запада к четверику примыкает небольшая трапезная с двумя приделами: Николая Чудотворца и Александра Невского. Двухъярусная колокольня была пристроена в 1868 году на средства купца А.А. Челнокова.

В 1881 году на деньги купца И.А. Куприянова с запада к колокольне пристроен дополнительный объем для ризницы. Существующий четырехъярусный иконостас создан в 1905–12 годах на средства Н.С. Поманского. Тогда же появились настенные росписи по проекту архитектора И.Т. Барютина.

В XIX веке Калитниковское кладбище считалось не очень престижным, тем более что при своем создании оно граничило с бойнями. Потом по соседству появился Нижегородский железнодорожный вокзал со складами и цехами. В связи с этим здесь почти нет дворянских захоронений, преобладают купцы и мещане. В его северо-восточной части расположен большой пруд. При кладбище существовал Дом бесплатного помещения для бедных женщин на 80 человек, созданный И.Я. Купреяновым и А.И. Перловым в память об убийстве императора Александра II.

В ХХ веке церковь иконы Божией Матери «Всех скорбящих Радость» не закрывалась и полностью сохранила убранство начала столетия.