За последние двести лет она не раз менялась в длине и в названии. До середины XX в. улица была значительно протяженнее и начиналась непосредственно от Лубянской площади. Название Малая Лубянка появилось в начале XIX в. вместе с названием параллельной улицы Большая Лубянка. До этого у улицы существовало два названия: от площади к Фуркасовскому переулку - Предтеченский переулок, а далее Новая улица (в разное время она называлась и Малым Лубянским переулком и Кирочной улицей).

От строений в бывшем Предтеченском переулке не осталось ничего. В 1940-х гг. в связи с реконструкцией дома НКВД была полностью уничтожена та часть улицы, что выходила на Лубянскую площадь. Любопытно, что сохранена прежняя нумерация, поэтому Малая Лубянка сейчас начинается домами №5 и №8.

Начиная от Лубянской площади первым домом по левой стороне был дом Мосолова, по правой с начала XIX в. до 1840-х гг. находились московские владения мингрельских князей Дадиани с каменными палатами и садом. И владения Мосоловых и князей Дадиани в XX в. стали собственностью страхового общества «Россия», которое построило на них доходные дома, в советское время включенные в комплекс дома ОГПУ-НКВД-КГБ.

Далее по правой стороне с середины XVIII в. жил представитель древнего рода, гвардии поручик Федор Прокофьевич Соковнин, чьей родственницей была Феодосья Морозова – знаменитая раскольница, запечатленная на картине Сурикова «Боярыня Морозова». В конце XIX в. здесь располагалось агентство высочайше утвержденного Пароходного общества «Самолет».

На углу с Фуркасовским переулком стояла церковь Усекновения главы Иоанна Предтечи, построенная сначала деревянной в 1337 г. по желанию великого князя Ивана Даниловича. В 1741 г. перестроена в камне. Церковь была небольшой, одноглавой, с колокольней. При церкви было фамильное кладбище князей Львовых.

На другой стороне, на углу и дальше к площади с середины XVIII в. было владение Ляпуновых, затем купцов Кононовых. В переулок выходили палаты. В 1880-е гг. здесь была квартира знаменитого оперного певца, педагога Дмитрия Андреевича Усатова. В 1890-х гг. в доме был магазин игрушек Берты Браун.

До нашего времени сохранилась лишь часть улицы, что некогда называлась Новой. Большинство домов на ее нечетной стороне другим фасадом выходят на Большую Лубянку. На месте углового дома №5 были жилые корпуса третьей московской мужской гимназии, основное здание которой находилось на Большой Лубянке.

В доме №7 в 1870-х гг. была частная лечебница «с постоянными кроватями» доктора Павла Антоновича Радциха. А в середине 1930-х гг. – Московский областной ЗАГС.

Далее на Малой Лубянке стоят громадные, непрезентабельного вида постройки, принадлежащие ФСБ и МВД.

Первый дом (№8, он же №3 по Фуркасовскому переулку) в конце XIX – начале XX вв. принадлежал купчихе Обидиной. Все помещения она сдавала. Долгое время по этому адресу находились квартира и химико-бактериологический институт доктора Филиппа Марковича Блюменталя. Институт, переименованный в Бактериологический, оставался здесь и в советское время.

В соседнем доме №10 на втором этаже около десяти лет до эмиграции в 1975 г. жил легендарный художник, коллекционер российских древностей Василий Яковлевич Ситников, основавший у себя в коммуналке школу живописи, своеобразную академию свободного искусства.

Особый интерес и очарование Малой Лубянке придает существование католического храма Св. Людовика, самого старого из сохранившихся католических храмов Москвы.

Рядом с храмом в 1890-х гг. располагалось известное частное женское учебное заведение Натальи Евгеньевны Шписс, в начале XX в. жил французский подданный, немало сделавший для российской промышленности, Юлий Петрович Гужон.