Рядом с храмом Иверской иконы Божией Матери, что на Большой Ордынке, расположена одна из самых богатых усадеб Замоскворечья, – дом Киреевских – Карповых. Этот дом с выразительным пилястровым портиком стал украшением Замоскворечья.

Первым владельцем дома был знаменитый род Киреевских, известный с XVII века. В конце XVIII столетия гвардии секунд-майор Василий Иванович Киреевский покупает небольшой участок земли на Большой Ордынке, близ Иверской церкви. В начале XIX века семья Киреевских приобретает соседний участок и в 1817 году начинает строить усадебный дом. Василий Иванович Киреевский был большим другом поэта-сентименталиста Василия Андреевича Жуковского. В 1805 году племянница Жуковского Авдотья Юшкова стала женой Василия Киреевского. Василий Иванович был любим как людьми своего круга, так и крепостными. Многие отмечали его тягу к знаниям: он свободно изъяснялся на нескольких языках, занимался переводами, писал романы и устроил в своем имении настоящую химическую лабораторию. В 1817 году Василий Киреевский умирает, и строительство особняка продолжает вдова вместе с тремя детьми. Вскоре после смерти Киреевского Авдотья Петровна выходит замуж за дворянина Алексея Андреевич Елагина. Семья переезжает в особняк у Красных ворот в Хоромный тупик. Вскоре их дом становится одним из самых модных литературных салонов Москвы.

В 1830 годы в фамильном особняке на Большой Ордынке проживал сын Киреевского Иван Васильевич, известный литературный критик и славянофил. В 1834 году Иван Киреевский женится и на долгое время покидает Москву.

Особняк пустовал вплоть до 1875 года, когда вдова Киреевского продает его семье Тимофея Саввича Морозова, мецената и покровителя художников, представителя известнейшей купеческой фамилии. Дом был куплен для старшей дочери Морозова Анны Тимофеевны и её мужа Геннадия Федоровича Карпова, профессора Московского университета. В их дом на Большой Ордынке приходили виднейшие деятели искусства того времени: А.П. Чехов, П.И. Чайковский, И.И. Левитан, К.С. Станиславский. В 1877 году Карповы возводят новую чугунную ограду и делают проездные ворота на территорию своего владения. Через некоторое время семье Карповых пришлось по-настоящему ютиться в своем особняке: Анна Тимофеевна родила своему мужу 15 детей. Под руководством архитектора А.Н. Кнабе в 1885 году было решено увеличить площадь дома за счет пристройки нового объема с южной стороны и нового флигеля.