Территория, на которой сейчас расположены Средние торговые ряды, начала осваиваться с XIV в., когда на месте основных улиц, отходящих от белокаменного Кремля и Красной площади, был устроен обширный торг. Постепенно лавки, продающие похожие товары, стали размещаться компактно, формируя торговые ряды. Торг неоднократно горел и вновь отстраивался. В конце XVI в. был издан царский указ о строительстве каменных лавок. Тогда же сложились три квартала торговых рядов: Верхние, Средние и Нижние.

После пожара 1812 г. Верхние и Средние торговые ряды перестраивал архитектор О. Бове. Работа была завершена в 1816 г.

В конце XIX в. здания обветшали, а архитектурный облик Красной площади изменился после строительства здания Исторического музея. Встал вопрос о новой перестройке. Вначале, в 1888—93, реконструировали Верхние ряды (арх. А. Померанцев), затем пришла очередь Средних. Строительство было поручено Р. Клейну. К 1893 г. строительство было завершено.

Средние торговые ряды состояли из нескольких зданий: главного (по периметру всего квартала) «кольцевого» корпуса и четырёх двухэтажных внутренних корпусов, образовывавших целый квартал с маленькими улочками. Фасад внешнего корпуса состоит из двух разновысоких частей (поскольку здание стоит на спуске к Москве-реке). Первый этаж выполнен в виде ряда полукруглых арок, над каждой из которых на втором этаже расположены два окна, обрамлённые аркой. Окна третьего этажа украшены наличниками. В целом здание оформлено в «псевдорусском» стиле с большим количеством декоративных деталей.

Под рядами были выкопаны большие подвалы с заездом со стороны Варварки. Их техническое оснащение было передовым для того времени: центральное отопление, вентиляция, грузовые лифты, собственная электростанция.

После 1917 г. в зданиях Средних торговых рядов разместился Второй дом Реввоенсовета. До 2000 г. комплекс находился на балансе Минобороны. Начиная с 1930-х гг. разрабатывались крупномасштабные архитектурные проекты, предусматривающие снос всех торговых рядов. Нижние ряды были снесены в 1960-е гг. Средние торговые ряды сейчас перестраиваются, снесены все четыре внутренних корпуса и частично перепланирован центральный.

В 2000 г. ФГУП «Федеральный комплекс «Кремлевский», подчинённое Управделами президента, выступило главным заказчиком реконструкции Средних торговых рядов. На их основе предполагалось выстроить гостиничный комплекс. Сроки сдачи объекта неоднократно отодвигались. В июне 2012 г. президент РФ предложил передать Средние торговые ряды музею «Московский Кремль».