Ильинский сквер занимает площадь 2,25 га. Он начинается с севера от площади Ильинские ворота, почему и называется Ильинским, и тянется до Славянской площади, являясь ее частью.

Одно из первых преобразований в этой местности произвел Петр I, построив в 1708-1709 гг. вокруг Китай-города фортификационные сооружения с валом и рвом. В 1775 г. возник план создать вокруг Китайгородской стены сплошной пояс площадей. В 1806 г. этот план стали приводить в действие и с восточной стороны стены. Для начала казна скупила все строения между стеной и нынешним Лубянским проездом. Строения были снесены, ров засыпан, вал срыт, но проект прекратил существование. На освободившемся месте образовались торговые яблочные ряды. В северной части сквера, чуть южнее Ильинских ворот, в середине XIX в. располагались балаганы.

К 1882 г. вся нынешняя территория Ильинского сквера была засажена деревьями и получила название Лубянский сквер.

27 ноября 1887 г. в северной части сквера торжественно был открыт памятник-часовня русским гренадерам, павшим в бою под Плевной, во время Русско-турецкой войны 1877-1878 гг. Авторы проекта: академик архитектуры В.О. Шервуд, инженер-полковник А.И. Ляшкин. Часовня, в настоящее время являющаяся главной достопримечательностью сквера, была построена на пожертвования гренадерских полков, однополчан погибших воинов.

В 1991 г. в южной части сквера был поставлен памятник славянским просветителям равноапостольным Кириллу и Мефодию, и площадь, на которую выходит сквер, получила название Славянская. До этого, с 1924 г. площадь носила имя Ногина в честь революционного деятеля, заместителя народного комиссара труда Виктора Павловича Ногина. В сквере находился закладочный камень памятника революционеру.