Участок дома № 13 по Тверскому бульвару в XIX веке принадлежал семье Голохвастовых. О Павле Ивановиче Голохвастове вспоминал А.И. Герцен в романе «Былое и думы». Родственник и друг семьи Герцена, Голохвастов спас их от пожара 1812 года, зазвав к себе в усадьбу: «Пойдемте ко мне, мой дом каменный, стоит глубоко на дворе, стены капитальные». Старый дом описывал как красивое здание с фасадом, украшенным пышным четырехколонным портиком, по бокам участка шли флигеля, но пожар не пожалел старого каменного здания. Дом пришлось восстанавливать.

О следующем владельце дома № 13 Д.П. Голохвастове (1796‑1849) известно как о попечителе Московского учебного округа, судье Московского совестного суда, председателе Московского цензурного комитета, пропускавшего «Мертвые души» Гоголя. Помимо особняка на Тверском бульваре, у Голохвастова было имение в Покровском‑Рубцове. Дмитрий Павлович приходился А.И. Герцену двоюродным братом и поэтому тоже попал на страницы «Былого и дум».

В 1885 году в ходе новой перестройки флигеля были соединены с главным зданием. В конце XIX века владение перешло к удачливому предпринимателю Л.С. Полякову, который скупил на Тверском бульваре четыре участка по нечетной стороне.

Особняк Голохвастовых стал основой здания банка. Если приглядеться к центральной его части, по расположению окон можно угадать строение начала XIX века В 1903 году здание снимает Ярославско-Костромской земельный банк. В 1951‑1952 годах здание перестроено в П‑образное помещение для Стройбанка СССР.

С 2012 года здание принадлежит центральному аппарату политической партии «Гражданская платформа».