После пожара 1812 года, в 1820, по линии переулка встал главный дом, фланкированный по бокам флигелями. В конце 1860-х годов усадьбу купила старшая дочь известного купца Герасима Хлудова Прасковья. Она вышла замуж за К.К. Прохорова (из династии фабрикантов Прохоровых, владельцев Трехгорной мануфактуры) и купила дом недалеко от отцовской усадьбы, что у Высокояузского моста, тоже приходе церкви Ильи Пророка на Воронцовом поле.

В начале 1870-х годов хозяйка перестроила особняк. Главный дом получил рустованный первый этаж. Центральный ризалит выделен небольшим изогнутым фронтоном с люкарной, а три центральные окна – овальными сандриками с лепными гирляндами. Во дворе были построены удобные службы.

После смерти отца Прасковья Герасимовна вместе с сестрами стала наследницей отцовских фабрик Егорьевской бумагопрядильной и Норской льяной мануфактур. Ее муж Константин Константинович скончался в 1888 году в возрасте 46 лет. Сестры Хлудовы занимались широкой благотворительностью. Они построили на завещанные отцом деньги целый городок в Сыромятниках на Яузе, «Дом призрения бедных им. Г.И. Хлудова». После смерти мужа Прасковья Прохорова выстроила там на свои средства отделение для слабых и одержимых недугами, а после скоропостижной смерти дочери в 1895 году – бесплатное женское ремесленное училище и еще один корпус бесплатных квартир (автором некоторых из этих сооружений был архитектор Лев Кекушев).

В начале 1900-х Прасковья Герасимовна оставляет дом единственному сыну Николаю и уезжает жить на Покровку. Николай как раз женился на Лидии Ушковой, дочери известного елабужского химического фабриканта. Они жили в этом доме до самой революции.

«Перестройку» конца ХХ века дом встретил в плохом состоянии. В 1997 году была произведена капитальная реконструкция усадьбы архитектуры фирмой «Самсунг инжиниринг», в ходе которой были восстановлены фасады и интерьеры главного дома, но капитально перестроены службы и флигеля. Ныне здания усадьбы принадлежат Росэнергобанку.