За Покровской заставой еще в XIX веке существовало старинное село Калитники, названное так по имени владельца — великого князя московского Ивана Калиты. За Калитниками начинались болота — Карачаровское и Сукино. Впрочем, по другой версии название произошло от соседнего Калитниковского ручья.

В 1771 году во время чумы среди прочих аналогичных кладбищ появилось и Калитниковское, которое среди других чумных захоронений приобрело славу самого «сельского» погоста в городе.

Калитниковское кладбище ведет начало от Симонова монастыря. В 1771 году в монастыре был устроен чумной карантин. Умерших монахи вывозили за Покровскую заставу, чтобы похоронить в отведенном для этого месте вне городской черты. Затем здесь возникло общегородское кладбище.

Хоронили здесь в основном местных крестьян, нищих и рабочий люд. Могилы располагались вокруг деревянной церкви Боголюбской иконы Пресвятой Богородицы. Мраморные и каменные памятники здесь появились во второй половине ХIХ века.

Деревянная церковь сгорела, и в 1834–1838 уже на новом месте по проекту архитектора Николая Козловского был построен каменный храм в честь иконы Богоматери Всех Скорбящих Радость с приделами Николая Чудотворца и Александра Невского в традиционном для того времени стиле ампир. В 1881 году ее перестроил архитектор В.Веригин. Ограда кладбища сооружена по проекту архитектора Н.Маркова.

Всехскорбященская церковь в советское время была одним из главных храмов обновленцев – здесь часто совершал богослужения митрополит Александр Введенский. Он и похоронен тут же – за апсидой.

Вокруг церкви находится и другие могилы священнослужителей, а также могила Блаженной старицы схимонахини матушки Ольги, которая пользуется особым почитанием у верующих.

В советское время на кладбище стали хоронить артистов, музыкантов, ученых, архитекторов.

Самым значительным своим захоронением работники Калитниковского кладбища считают могилу народной артистки СССР, работавшей в Малом театре, Евдокии Турчаниновой. Она исполнила более 70 ролей в пьесах Александра Островского. Здесь же похоронен художник-авангардист Роберт Фальк, один из организаторов творческого объединения русских постимпрессионистов «Бубновый валет». В центральной части кладбища находится монумент-часовня архитектора Афанасия Григорьева. По его проекту на Пречистенке построен дом Лопухиной – ныне музей Льва Толстого и усадьба Хрущевых, где разместился музей Пушкина.

Здесь же нашел успокоение архитектор Федор Шестаков, построивший Провиантские склады на Крымской площади, трапезную и колокольню церкви Николая Чудотворца в Толмачах.

Могила автора памятника Александру Пушкину на Тверском бульваре — Александра Опекушина – тоже находится здесь.

Также среди похороненных на Калитниковском кладбище: убитый журналист и сотрудник разведки в отставке Вадим Бирюков, легендарная советская разведчица Елизавета Зарубина и литературовед Феликс Кузнецов.