В основе главного усадебного дома, стоящего торцом к переулку – палаты середины XVIII века. Усадьбой в это время владел тайный советник и генерал-майор Иван Иванович Дивов. Он недолго состоял в должности генерал-полицмейстера Москвы, и после возвращения в Петербург свою московскую усадьбу сдавал. Главный дом усадьбы, тогда двухэтажный, был построен в стиле барокко – его парадный фасад оформлял портик с белокаменными ионическими капителями, окна украшали нарядные наличники. Дворовый фасад дома был обращен в сторону большого сада с прудом, который доходил почти до нынешнего Садового кольца.

В 1783 году наследники Дивова продали усадьбу генерал-майору Василию Сергеевичу Нарышкину, принадлежавшего к знаменитому дворянскому роду. Нарышкин перестроил главный дом в стиле классицизма – палаты, надстроенные третьим этажом, получили совершенно новое декоративное оформление – оба фасада, главный и дворовый, были украшены пилястровыми портиками коринфского ордера с фризом в виде гирлянд. В треугольном фронтоне разместился герб рода Нарышкиных. Классицистические флигели и хозяйственные строения образовывали вместе с главным домом ансамбль парадного двора усадьбы. Сложившийся в конце XVIII века классический облик усадьбы дошел до нашего времени практически без изменений. Усадьба почти не пострадала во время пожара 1812 года.

В 1816 году новым ее владельцем стал генерал-майор Петр Никифорович Ивашев – участник русско-турецких войн и войны 1812 года. После отъезда Ивашева в родовое имение под Симбирском, в московской усадьбе жил его сын – ротмистр Василий Петрович Ивашев, будущий декабрист. Здесь он был арестован в январе 1826 года и за то, что «участвовал в умысле на цареубийство согласием и принадлежал к тайному обществу со знанием цели» был приговорен к каторге и лишен дворянского достоинства. В усадьбе жила и его будущая жена – Камилла ле Дантю, дочь гувернантки Ивашевых. Она последовала за возлюбленным в Сибирь, где они сочетались браком в 1831 году. У них было четверо детей, но жизнь они прожили недолгую – в 1840 году умерла Камилла, а через год – сам Ивашев.

В усадьбе Ивашевых с 1829 года разместился «Институт для исправления телесных повреждений» доктора Людвига Мандилени. В 1832 году усадьба была выкуплена в казну для Опекунского совета, до 1843 года здесь продолжал существовать Ортопедический институт. К этому времени, вероятно, относится дошедшее до нашего времени оформление парадных помещений главного дома - потолочная лепнина, пилястры из искусственного мрамора, филенчатые двери.

В 1844 году было решено отдать усадьбу под устройство Полицейской больницы, созданной по предложению знаменитого доктора Федора Петровича Гааза. Больница находилась в ведении Комитета попечительства о тюрьмах, содержались в ней арестанты, а также «бесприютные больные». Гааз был назначен главным врачом больницы, жил он здесь же, в одном из флигелей.

Доктор Гааз умер здесь, в Полицейской больнице, в 1853 году. Гроб с его телом благодарные москвичи несли отсюда на руках до Немецкого кладбища. В 1883 году Полицейская больница была преобразована в городскую больницу имени императора Александра III, предназначенную для состоятельных пациентов. В 1909 году во дворе больницы поставлен бюст-памятник доктору Ф.П. Гаазу, выполненный известным скульптором Николаем Андреевым. На постаменте выбиты знаменитые слова доктора, его кредо – «Спешите делать добро».

После революции 1917 года больница получила название Гаазовской. Она просуществовала до 1921 г., а в 1924 г. здесь разместился Институт гигиены и труда профзаболеваний. С 1959 г. и по настоящее время в усадьбе располагается НИИ гигиены детей и подростков.