После смерти единственного сына мануфактур-советник Герасим Иванович Хлудов задумал создать большое благотворительное заведение, которое бы содержалось на его капиталы. Для этого у купца Васильева он приобрел большое владение, бывшую фабрику с господским домом, на берегу реки Яузы, в Сыромятниках. Здесь было решено построить «Дом призрения для бедных имени Г.И. Хлудова». На отделку и устройство здания им было завещано 200 тысяч, еще 300 тысяч ценными бумагами Московско-Курской железной дороги, проценты от которых шли на содержание призреваемых. Опасаясь, что его замысел может быть не осуществлен при жизни, Хлудов подробно прописал в завещании, как и на каких условиях должна будет существовать богадельня. В 1885 году Герасима Ивановича не стало, и его дело продолжали четыре дочери-наследницы.

Для строительства богадельни Московским Купеческим Обществом был нанят известный архитектор Б.В. Фрейденберг. В 1888 году уже были готовы корпус богадельни на 80 человек (30 мужчин и 50 женщин) с домовой церковью, центральный придел которой был освящен в честь преподобного Герасима Иорданского, еще один из пределов, в память об умершем брате, освятили в честь святых апостолов Петра и Павла, а третий - в честь святой Пелагии, покровительницы их матери, которая скончалась вслед за супругом. Здание у Фрейденберга получилось строгое и стильное. Центральный ризалит выделен полуколоннами и башенками, украшающими высокий фронтон. Над богадельней возвышается большой купол домовой церкви.

Дочери-наследницы хотели, чтобы кроме богадельни в комплексе были еще корпуса с бесплатными квартирами для вдов с сиротами. В то время в Москве ощущалась сильная нехватка в таких заведениях. Поэтому сразу был построен корпус на 87 бесплатных квартир, на что дочери доложили 98 000 рублей. Как только корпус сдали, выяснилось, что очередь обездоленных вдов почти не уменьшилась, и Александра Герасимовна пожертвовала еще 100 000 рублей на строительство дополнительного корпуса для бесплатных квартир. Не отставала от нее старшая сестра Пелагея. В 1890 году она пожертвовала 100 000 рублей на строительство «отделения для слабых и одержимых недугами престарелых лиц женского пола, нуждающихся в медицинской помощи» в память рано умершего мужа и матери. Таким образом, вдоль Сыромятнического переулка вырос огромный благотворительный городок из главного корпуса богадельни с домовой церковью и трех корпусов дома бесплатных квартир с большим парком, тянувшимся до самых берегов реки Яузы. В 1913 году в богадельне содержалось 105 человек, в домах бесплатных квартир проживало 570 вдов с детьми, в школах обучалось 155 детей.

Огромный благотворительный комплекс перестал существовать в 1918 году. Дома новая власть забрала под новые нужды. Сначала это были разного рода конторы, потом здания отошли под научно-исследовательский институт Академии Наук. Перестала существовать церковь, ее поделили на этажи. Теперь виден от Винзавода ее купол, а апсиды можно рассмотреть через забор во дворе. Большой парк застроен.