В XII в. от Боровицких ворот Кремля шла торговая «волоцкая» дорога через Волоколамск к Великому Новгороду. Москва тогда лежала на пути из Великого Новгорода в Рязань.

В XIII-XIV вв. торговая дорога шла из Кремля к Арбатской площади и называлась Орбат или Арбатская, по названию площади. Улицу заселили представители аристократии, по обеим сторонам стояли богатые дворы и усадьбы родственников и приближенных царской фамилии.

Только в XVII в. за улицей закрепилось название Знаменка, по стоявшей на ней церкви Знамения Божьей Матери. Церковь не сохранилась, она стояла на месте нынешнего пустыря рядом с домом № 15.

Знаменка начиналась у Боровицкого моста, переброшенного через Неглинную, имела пять приходских церквей и была застроена дворами Шуйских, Ртищевых и других знатных фамилий.

В XVIII в. дворы родовой знати достаются друзьям Петра I, новой «чиновничьей знати». У Боровицкого моста располагался тогда двор Никиты Зотова, рядом двор Афанасия Вяземского. На Ваганьковском холме расположился двор сына, а потом внука А.М. Меньшикова (сейчас дом Пашкова).

Ближе к стене Белого города располагались дворы графа Ф.А. Апраксина и генерал-аншефа М.А. Толстого.

В 1918 г. улица стала Краснознаменной. Возможно, название было связано с Реввоенсоветом, разместившимся в бывшем Александровском училище. В 1925 году она была переименована в ул. Фрунзе в память полководца Красной Армии М. Фрунзе. В 1930-х церковь Знамения Божьей Матери снесли. В 1994 году улице возвращено прежнее название.

Жемчужиной ул. Знаменка был и остается великолепный дом-дворец П.Е. Пашкова, построенный предположительно по проекту величайшего московского зодчего В. Баженова. Фасад дома обращен к Кремлю, по Знаменке идет ограда и корпус Румянцевского музея, который располагался в усадьбе.

При строительстве нового Каменного моста, а потом и сноса квартала по нечетной стороне улицы (сейчас «лужайка Никсона») начало Знаменки сместилось к дому Пашкова.

В конце XVIII в. улицу украсил огромный дворец С.С. Апраксина, построенный архитектором Ф. Кампорези. Двухэтажный дом-дворец был выстроен по периметру объединенных участков Апраксина и Толстого. До реконструкции дома в 1950-х он был известен как Александровское училище и здание Реввоенсовета.

Напротив дома Апраксина за каменным забором находилась уютная усадьба Бутурлиной. Дом сохранился до сих пор, его занимало Музыкальное училище сестер Гнесиных.

В конце XIX – начале ХХ века на Знаменке выросли многоэтажные доходные дома, состоящие из нескольких корпусов. Доходный дом А.И. Шамшина.