Небольшая московская усадьба в Староваганьковском переулке сохранилась с середины XIX в. Утратив свои хозяйственные постройки, она сохранила главный дом, выходящий в переулок двухэтажным фасадом в семь окон.

В 1514 году на месте усадьбы стояла церковь, построенная по проекту итальянского зодчего Алевиза. Она была освящена в честь Благовещения Пресвятой Богородицы. По имени церкви переулок часто называли Благовещенским.

Храм простоял здесь до 1812 года. Во время пожара весь квартал сильно пострадал, церковь долго не восстанавливалась. 9 сентября 1816 года по резолюции архиепископа Августина Благовещенский храм был разобран. Кирпичи пошли на постройку дома соборян (Воздвиженка, 7).

В 1820-х гг. землей владел М.А. Устинов, хозяин дома 5 по Воздвиженке (сейчас – Музей архитектуры им. Щусева). С 1840-х хозяином владения был московский купец Василий Васильевич Семенов, а затем его жена и сын Федор. В 1842 году по проекту архитектора Михайлова возведен двухэтажный дом, сохранившийся до нашего времени. Тогда же со стороны двора к дому пристроен двухэтажный флигель по проекту архитектора Н.И. Козловского.

В 1909 г. владение покупает М.В. Клюкин. Новый владелец планировал переделать весь участок под доходное владение, но проект не был осуществлен.

Дом интересен тем, что здесь с осени 1908 по 1911 гг. жил замечательный русский художник В.А. Серов. В эти годы им написано множество портретов современников, а также исторический цикл картин. 22 ноября 1911 г. художник умер в своем доме от сердечного приступа.