В XVIII веке участок между Петровкой и рекой Неглинкой (современные дома №№ 12-16 по Петровке) входил в состав обширного владения А. П. Волынского, казнённого в 1740 году по подозрению в государственной измене. После прихода к власти императрицы Елизаветы Петровны ранее конфискованное имение было возвращено дочери Волынского Марии. А с конца 1740-х годов новым его владельцем становится граф Иван Илларионович Воронцов, женившийся на Марии Артемьевне Волынской.

В конце столетия огромное владение Воронцовых было поделено на несколько участков, и новым хозяином усадьбы на Петровке стал петербургский купец Н. В. Де-Форж, а в 1808 году - надворная советница М. А. Раевская. Не позднее 1808 года в глубине участка был построен двухэтажный дом в классическом стиле с шестиколонным коринфским портиком и двумя флигелями, выходящими на красную линию Петровки. В основу здания были включены каменные постройки времён Воронцовых.

Усадьба практически не пострадала от пожара 1812 года.

В январе 1821 года здесь проходило тайное заседание «Союза благоденствия» - декабристской организации, ставившей цели уничтожения самодержавия и крепостничества, введения конституционного правления.

В 1841 году Раевская по завещанию поделила усадьбу на три владения между своими детьми. Флигели впоследствии были перестроены в доходные дома, в том числе в 1885-1887 годах по проекту архитектора В. П. Загорского.

В 1878 году главный дом усадьбы приобрело Московское городское Кредитное общество. Большой зал использовался для проведения концертов и собраний. Здесь в 1895 году состоялось первое выступление пианиста К. Н. Игумнова.

Перед главным домом ещё в XIX веке был установлен цветочный павильон известного цветовода Ф. Ф. Ноева, чьи оранжереи располагались на Воробьёвых горах подле Мамоновой (или Ноевой) дачи. Когда Николаю Рябушинскому для банкета журнала «Золотое Руно» понадобилось сорок тысяч ландышей в январе, их доставила фирма Фёдора Ноева. Любопытно, что цветочный павильон сохранялся здесь до начала 1950-х годов.

В 1930-е годы главный дом был надстроен дополнительным этажом. Здесь располагались в разное время Музей социальной гигиены, радиокомитет, различные наркоматы и министерства. В начале 1950-х годов дом был полностью перестроен архитекторами П. П. Штеллером, В. В. Лебедевым и И. В. Шервудом под размещение СЭВ. Но в результате в здании поселилось Министерство пищевой промышленности РСФСР. Дом – один из «киногероев» замечательного фильма Э. А. Рязанова «Гараж».

В левом флигеле (владение № 16) в 1880-е годы располагалось «Агентство товарищества электрического освещения в России» - «П. Н. Яблочков - изобретатель и К°». А в советское время, в 1970-е годы, - очень популярный в Москве магазин польских товаров «Ванда».

В настоящее время в доме № 14 по Петровке располагается Генеральная прокуратура Российской Федерации. В бывших флигелях – различные магазины и конторы. До апреля 2015 года в доме № 16 находился Музей ГУЛАГа.

Бывшая усадьба Раевских находится на государственной охране, как исторически ценный градоформирующий объект.