В 1812 году княгиня Анна Шаховская разделила своё большое владение на Арбате на две части. Одну из них, восточную, княгиня оставила себе, а другую, западную, продала. Современный дом №12 стоит в восточной части владения, оставшейся у Шаховской. Здесь княгиня построила дом в два этажа.

В 1873 году новый хозяин, купец Орлов, расширяет дом за счет двухэтажной пристройки. Наконец, в 1889 году здание надстраивается двумя этажами и реконструируется. В таком виде оно дошло до нашего времени. Здесь жил художник Сергей Иванович Вашков, пробовавший свои силы и в архитектуре. По его эскизам построен дом №14 на Чистопрудном бульваре, известный большими рельефами декоративных зверей в древнем владимирском стиле. Эскизы С. И. Вашкова использовал архитектор Василий Иванович Мотылёв при проектировании церкви в неорусском стиле на платформе Клязьма. Западная часть старинного большого владения впоследствии получила номер 14.

Общий участок 12-14 с 1702 года принадлежал дьяку поместного приказа Федосею Манукову, который в 1728 году отдал усадьбу в приданое дочери, Авдотье Федосеевне. Она выходила замуж за поручика Преображенского полка Василия Суворова, впоследствии генерал-губернатора, возглавлявшего в 1760-1761 годах русскую администрацию в Пруссии при императрице Елизавете Петровне. Многие исследователи Москвы считают, что именно здесь, в старых палатах Манукова, у Суворовых родился и провёл детские годы сын Александр. Ему суждено было стать самым успешным полководцем в истории России.

Старый дом в конце XVIII века был перестроен по проекту М. Ф. Казакова, получил непременный шестиколонный портик и треугольный фронтон. Дом горел в 1812 году, был восстановлен и в первой половине XIX века принадлежал князю М. А. Оболенскому.

Долгое время здание стояло брошенным, его заселили бродяги, жителям Москвы того времени дом был известен как «дом с привидениями». Во время Великой Отечественной войны в дом попала бомба, и теперь уже около 70 лет участок 14 стоит без построек. На месте старого главного дома сейчас подпорная стенка, облицованная керамическими плитками с рисунками, так называемая стена Каролины Маркс. Она названа по имени журналистки, придумавшей и воплотившей в жизнь идею росписи плиток детьми из разных стран и городов.