В начале XIX века особняк принадлежал графине Е.П. Ростопчиной.

В 1840-х годах этот дом знала вся литературная Москва. Сюда на модные тогда «павловские четверги» приезжали Н.В. Гоголь и Е.А. Баратынский, Я.П. Полонский и А.А. Фет, А.И. Герцен и Н.П. Огарев, Т.Н. Грановский и П.Я. Чаадаев, К.С. Аксаков и братья Киреевские, А.С. Хомяков и С.П. Шевырев. В этом доме перед отъездом в ссылку на Кавказ в 1840 г. состоялось прощание М.Ю. Лермонтова с московскими литераторами. «Он уехал грустный. Ночь была сырая. Мы простились на крыльце», – позже вспоминал Ю.Ф. Самарин.

Дом принадлежал модному в те годы литератору Николаю Филипповичу Павлову. Поэтому литературный салон, устроенный здесь, и называли «павловским». Но подлинной хозяйкой и особняка, и салона была его супруга Каролина Карловна (урожденная Яниш).

Каролина, дочь профессора Карла Ивановича Яниша, получила прекрасное домашнее воспитание, знала несколько иностранных языков и слыла в Москве девицей, «одаренной самыми разнообразными и самыми необыкновенными талантами». В восемнадцатилетнем возрасте она познакомилась со знаменитым польским поэтом Адамом Мицкевичем, который был выслан с родины в Москву за участие в создании и деятельности патриотических молодежных кружков, направленных против самодержавия. Между молодыми людьми вспыхнула любовь, они собирались пожениться. Но родные Каролины были настроены категорически против брака с политически неблагонадежным поэтом, не имевшим к тому же ни капитала, ни даже постоянного заработка. Через некоторое время Мицкевич покинул Москву. Каролина страдала. Она начала заниматься литературной деятельностью. Сперва переводы, получившие, кстати, одобрение Гете. Несколько позже она стала писать собственные стихи, активно сотрудничала со многими журналами и альманахами.

В 1836 г. Каролину, изрядно засидевшуюся в девицах, но ставшую к тому времени богатой невестой благодаря крупному наследству, оставленному дядюшкой, выдали замуж за Павлова. Отчаянный игрок, Николай Филиппович за пятнадцать лет спустил все приданое жены. В 1852 г. супруги разошлись. А через несколько лет Каролина покинула Россию. Пожив во многих европейских городах, она окончательно поселилась в Саксонии, в Дрездене. Там в 1893 г. она и скончалась. Второе рождение Каролины Павловой (Яниш) как поэтессы состоялось благодаря Валерию Брюсову, издавшему в 1915 г. собрание ее сочинений.

Дом же на Рождественском бульваре приобрел Э.Ф. Маттерн. Позже им владели его сыновья Евгений, Эдуард и Эмилий. В 1870 г. здание перестраивалось по проекту архитектора А.Н. Стратилатова. Тогда оно и получило богатую лепную отделку фасадов в виде гирлянд, венков, картушей, стилизованных под мотивы рококо. На фигурном аттике появилась монограмма владельцев.

Последним дореволюционным владельцем особняка было Московское общество кредита под заклад движимости.

Дом стоит на государственной охране как объект культурного наследия регионального значения.