Этот дом стоит по старой красной линии улицы Воздвиженка и сохранился здесь с конца XVIII века. В 1783 году двухэтажный дом с антресольным этажом, с флигелями и парадными воротами с Калашного переулка построил князь Алексей Яковлевич Шаховской. Он был младшим сыном князя Якова Петровича Шаховского, обер-прокурора Святейшего Синода, автора известных автобиографических "Записок", от брака с Евдокией Егоровной Лопухиной, ур. Фаминцыной. Дом отца, где Алексей вырос, находился рядом, у церкви Бориса и Глеба, что на Арбатской площади.

С 1842 года владение переходит в руки врачей. Сначала им владел известный врач И.И. Краузе. В 1852 году архитектор Н.И. Козловский перестроил дом. В это время усадьба принадлежала штабс-ротмистру Николаю Яковлевичу Козлакову. Изменения в основном касались декора фасада и внутренних помещений. Первый этаж был приспособлен под магазины, остальные этажи под квартиры. Дом получил очень эффектный фасад, выполненный в стилистике рококо. Затейливые полукруглые наличники, фронтоны окон второго этажа украшены цветочными гирляндами, раковинами и волютами. Теперь в народе этот дом называют «рокайльным».

В 1868 г. усадьбу купил врач Дмитрий Тимофеевич Осиповский (1812—1881). Его отцом был известный ученый Тимофей Федорович Осиповский (1766—1832), профессор высшей математики и астрономии, ректор Харьковского Императорского университета. В конце жизни он переехал с семьей в Москву и был похоронен на Ваганьковском кладбище. Его сын Дмитрий закончил медицинский факультет Московского университета и много лет проработал в Московской городской больнице, больнице для чернорабочих на Мясницкой и в Мариинской больнице. 14 июня 1878 года действительному статскому советнику Дмитрию Тимофеевичу Осиповскому с потомством высочайше пожаловано дворянство, и с этого времени во фронтоне дома расположился герб Осиповских.

Племянницей жены Дмитрия Тимофеевича была Елизавета Григорьевна Вареникова, соседка А.П. Чехова по Мелихову. Он вывел ее семью в своих рассказах «Крыжовник», «Соседи», «Три года». В 1900—1917 гг. Елизавета Вареникова жила в этом доме у своего двоюродного брата Дмитрия Дмитриевича Осиповского.