Дом стоит в глубокой выемке, образовавшейся при устройстве железнодорожной соединительной ветки. Сейчас трудно представить, но когда-то это был пышный дворец. Правая часть нынешнего здания является первоначальной постройкой, возникшей здесь примерно в 1740 - 1750-х годах, владел ей М. А. Ахлестышев. Несколько расширенный и перестроенный двухэтажный дом приобретает в 1793 году подполковник М. Р. Хлебников, бывший купец, ставший правителем канцелярии у графа П. А. Румянцева-Задунайского. Хлебниковы продают свой дом на Покровке, и архитектор Матвей Казаков перестраивает им усадьбу Ахлестышева в один из самых красивых дворцов на Басманных улицах.

Дом чудом уцелел в пожаре 1812 года, и был продан вдовой графу Григорию Алексеевичу Салтыкову. Новый владелец опять перестраивал дом и увеличил его высоту. На архивном рисунке 1815 года изображен представительный трехэтажный дворец с портиком и балконом перед ним, совсем не напоминающий то здание, которое стоит теперь на улице.

В 1850-е годы его покупает знаменитый купец и благотворитель Фрол Яковлевич Ермаков. Он переделывает фасады и интерьеры, отчего дом получает современный, довольно неприглядный вид. На втором этаже располагалась квартира самого хозяина дома. В третьем этаже жил его сын с семьей. Во флигеле помещалось общежитие для монашек, сборщиц на храмы, присылаемых из равных иногородних женских монастырей и общин в Москву. После смерти владельца дом перешел в общую собственность. На эти цели шли и доходы с магазинов и квартир, сдаваемых в наем.

После смерти владельца в 1895 году дом по завещанию отошел его супруге Екатерине Корнеевне Ермаковой, а после её кончины - сыну Дмитрию Фроловичу Ермакову.