В XVIII веке участок между Петровкой и рекой Неглинкой (современные дома №№ 12-16 по Петровке) входил в состав обширного владения Воронцовых. В конце столетия его новым владельцем стал петербургский купец Н. В. Де-Форж, а в 1808 году - надворная советница М. А. Раевская. Не позже 1808 года здесь был построен двухэтажный дом в классическом стиле с шестиколонным коринфским портиком в глубине участка и двумя флигелями, выходящими на красную линию Петровки. В основу здания были включены каменные постройки времён Воронцовых.

Усадьба практически не пострадала от пожара 1812 года.

В 1841 году Раевская по завещанию поделила усадьбу между своими детьми на три владения. Флигели впоследствии были перестроены в доходные дома. В частности, тот, о котором мы говорим, перестроен в 1885-1887 годах по проекту архитектора Василия Петровича Загорского.

Нынешнее владение № 12 принадлежало дочери Раевской - Кашкаровой. А позже и до 1917 года его хозяйкой была потомственная почётная гражданка Екатерина Дмитриевна Матвеева.

В 1870-1890-х годах в доме размещалась «Агрономическая контора» Н. В. Верещагина, старшего брата известного художника-баталиста В. В. Верещагина, предлагавшая свои услуги в управлении сельскохозяйственными фермами и имениями. При конторе находился магазин, торговавший молочными продуктами. Николая Васильевича Верещагина называют «отцом» современной российской молочной индустрии и «создателем вологодского масла». Он был организатором первых русских сыроварных и маслодельных артелей. В наши дни его именем названа Вологодская государственная молочнохозяйственная академия. В конце XIX века верещагинская контора переехала в дом № 17 по Петровке.

Некоторое время в доме Матвеевой находился фотографический салон М. М. Панова - фотографа Великого Князя Константина Николаевича и Его Величества Короля Швеции и Норвегии. На Политехнической выставке 1872 года в Москве Панов получил Большую золотую медаль «за фотографические портреты». Хорошо известна фотография Ф. М. Достоевского, сделанная Пановым в 1880 году во время торжеств по случаю открытия памятника А. С. Пушкину в Москве. Панов делал фотографические портреты И. С. Тургенева и А. Н. Островского, групповой снимок художников-передвижников. Позже фотосалон Панова перебрался в соседнее владение Московского городского Кредитного общества (Петровка, №№ 14-16).

В ХХ веке на первом этаже дома № 12 находился популярный среди художников Художественный салон, закрывшийся совсем недавно, уже в 2010-е годы.

Здание находится на охране, как исторически ценный градоформирующий объект.