Дмитров являлся ближайшим портом, соединявшим Москву с рекой Волгой. В XVI веке дорога шла мимо поселка воротников – сторожей кремлевских ворот, которые жили между Дмитровкой и Тверской, сейчас о их поселении напоминают названия переулков – Воротниковский, Дегтярный, Старопименовский. По другую сторону находилась Дмитровская слобода.

В конце XVI века вокруг Москвы была построена крепостная стена Белого города, которая разделила Дмитровскую дорогу на Большую и Малую Дмитровку. Долгие годы в стене глухой Дмитровской башни существовал лаз, через который жители могли проходить в город, потом Малая Дмитровка повернула к Тверским воротам вдоль стены Страстного монастыря, располагавшегося на месте нынешней Пушкинской площади.

В начале XVIII века вдоль улицы начали селиться именитые граждане, до середины XIX века на улице стояли дворы знати и дворянства. Потом их сменили купцы, люди среднего достатка, интеллигенция, чиновничество.

Бытописатель Москвы П.Боборыкин писал о Малой Дмитровке в 1899 г.: «Эта улица одна из самых красивых, чистых, широких и с постоянной ездой, особенно летом: тут пролегает путь на дачи через Бутырки в Петровско-Разумовское».

По Малой Дмитровке прошла линия первого московского трамвая. С 1899 года одновагонный трамвай ходил от стен Страстного монастыря до Бутырской заставы.

В 1944 году Малая Дмитровка была переименована в улицу Чехова в связи с сорокалетием со дня смерти писателя. Прежнее название ей было возвращено в 1993 году. Современная Малая Дмитровка тянется от Пушкинской площади до Садового кольца 651 м.