Усадьба начала формироваться в 1756 году, когда И.И. Воронцов-Вельяминов построил небольшой дом с угловыми пилястрами по линии Большой Никитской. В 1770-х годах владение перешло к Долгоруковым, при которых усадьба была расширена до Поварской улицы. Они построили два симметричных служебных корпуса по краям главного дома с круглыми угловыми помещениями. На рубеже XVIII—XIX веков главный дом усадьбы был надстроен мезонином, украшен двумя портиками и получил строгое классическое оформление фасадов.

В 1812 году в доме квартировали французы, и огонь не тронул его. Во второй половине XIX века владение переходит в род баронов Боде-Колычевых и в их владении остается до революции 1917 года. Барон Михаил Львович Боде купил эту усадьбу примерно в 1853 году, одновременно с усадьбой Ликино в теперешнем Переделкине. Его мать Наталья Федоровна Колычева была последней в роде, поэтому в 1876 году Михаил Львович получает разрешение к своей фамилии присоединить фамилию матери и становится бароном Боде-Колычевым. Женат он был на Александре Ивановне Чертковой. При М. Л. Боде-Колычеве двор усадьбы получил современную замкнутую композицию. В 1859 году к восточному торцу главного дома была пристроена домовая церковь во имя святителя Филиппа (Колычева). В этой церкви в 1866 году венчался И. С. Аксаков с А. Ф. Тютчевой. Михаил Львович был историком и археологом и свой дом превратил в музей древностей. Тут был устроен зал, с подробным родовым древом родов Колычевых и Боде. Михаил Львович собрал родословие рода Колычевых и издал его в виде книги «Боярский род Колычевых».

В середине XIX века в этом доме останавливалась проездом в Москве, вдова А.С. Грибоедова Нина Чавчавадзе. И бароны Боде сохраняли обстановку этой комнаты мемориальной.

Михаил Львович скончался в 1888 году. Усадьба перешла к ее дочери Наталье Михайловне. Она была замужем за сыном соседей по Поварской графом Федором Львовичем Соллогубом. Его матерью была Мария Федоровна Самарина. Федор Львович прожил не долго. Он умер в 1890 году , прожив всего 42 года. Графиня Наталья Михайловна умерла в 1916 году и дом перешел к ее старшей дочери графине Елене Федоровне Соллогуб.

Дом этот был хорошо знаком Льву Толстому. Старшая сестра Натальи Михайловны Боде-Колычевой Мария Михайловна была первой женой Михаила Сергеевича Сухотина, который после ее смерти в 1897 году женился на старшей дочери Толстого Татьяне Львовне. Дочь М.С. Сухотина от первого брака Наталья Михайловна стала второй женой князя Николая Леонидовича Оболенского, который первым браком был женат на средней дочери Л.Н. Толстого Марье Львовне. А сын М.С. Сухотина Сергей был первым мужем внучки Л.Н. Толстого графини Софьи Андреевны Толстой, той которая вторым браком была за Сергеем Есениным.

Но еще задолго до всех этих родственных связей во времена баронов Боде он бывал тут на балах и по приемным дням. Именно этот хорошо знакомый ему дом он описал как Дом Ростовых в своем романе «Война и мир».