Вспольный переулок ранее именовался Георгиевским, по названию церкви Георгия Победоносца, что на Всполье, выстроенной в 1657 году на месте двора боярина М.И.Романова и разрушенной в 1930-е годы. Свое теперешнее название получил в 1922 году. Когда-то в этих краях были незастроенные пахотные поля – "вспольные" земли, начинавшиеся за городской чертой около Земляного вала и тянувшиеся почти до стен Белого города.

В начале XIX века участок, на котором располагается сейчас дом № 5, входил в территорию усадьбы с каменным главным домом в стиле "московского ампира" деревянным флигелем с мезонином, хозяйственным двором и обширным садом. Главный фасад дома украшал шестиколонный портик ионического ордера, завершенный треугольным фронтоном. В конце 1830-х годов владение разделили на три части и распродали. В одно из этих самостоятельных домовладений вошел главный усадебный дом, а также ряд служебных строений. Судя по малому количеству построек, здесь жила небольшая семья с минимальным количеством прислуги. Позже застройка усадьбы увеличивается, достраиваются жилые и подсобные помещения, в том числе несколько пристроек к главному дому, соединенных открытой террасой, выходившей в сад. В 1893 году по проекту гражданского инженера Н.В.Султанова была надстроена одноэтажная часть главного дома, та, что выходила на переулок. Перестройки в целом не повлияли на его планировочную структуру. Второй этаж, в котором располагались приватные комнаты владельцев, по высоте был несколько ниже "парадного" первого этажа, предназначенного для приема гостей. Фасады получили новое декоративное оформление, выдержанное в едином стиле. 

Формирование усадебного комплекса завершилось в 1903 году. По проекту архитектора А.Н.Агеенко была построена каменная сторожка, решенная в стилистике главного дома, а также ограда на каменных столбах. 

В послереволюционное время в 1920-х годах усадьба перешла в собственность Жилищного товарищества. Комнаты в главном доме перегородили, устроили дополнительные ванные комнаты и санузлы, и отдали под коммунальное жилье. В 1962 году западную часть участка присоединили к территории дома-музея А.П.Чехова, расположенного по соседству. 

В 1993 году в доме были проведены реставрационные работы, в ходе которых были внесены некоторые изменения в декоративное оформление фасадов здания: профилированный карниз заменили фризом, в который поместили меандр. Со стороны северного фасада возвели пристройки разной высоты. По архивным документам были восстановлены металлические ворота. Сторожка же "превратилась" в самостоятельное владение.