В основе существующего главного дома – старинные палаты, построенные в первой половине XVII века, а возможно даже и раньше – некоторые исследователи относят время их создания к рубежу XVI – XVII веков. От палат сохранился белокаменный подвал со сводчатыми помещениями - по всей видимости, изначально это был подклет (нижний этаж) дома, в то время как второй этаж был деревянным. Позже второй этаж был сделан каменным.

Палаты в Армянском переулке связывают с именем боярина Ивана Михайловича Милославского, который, как считается, владел этой усадьбой во второй половине XVII века. Он принадлежал к древнему и знатному дворянскому роду Милославских, который особенно возвысился после того, как царь Алексей Михайлович взял себе в жены Марию Ильиничну Милославскую. Иван Михайлович Милославский сделал большую карьеру в правление царя Федора Алексеевича, когда стал одним из самых влиятельных людей при дворе. Он руководил многими приказами, в том числе Приказом Большого дворца, Иноземным приказом, Стрелецким приказом и Приказом Большой казны. Был известен как хитрый и опасный человек, выступил теневым вдохновителем стрелецкого бунта 1682 года, когда противостояние между родами Милославских и Нарышкиных (семья второй жены царя Алексея Михайловича) вылилось в серьезное кровопролитие. Правда о его роли в стрелецком бунте стала известна уже после его смерти (он умер в 1685 году), во время следствия по второму стрелецкому бунту 1698 года.

В XVIII веке усадьба в Армянском переулке несколько раз меняла владельцев, в разные годы она принадлежала князьям Волконским, графам Дмитриевым-Мамоновым, дворянам Глебовым. В 1790 году усадьба перешла в руки князя Ивана Сергеевича Гагарина, который принадлежал к древнему и прославленному княжескому роду Гагариных. Сам он был капитаном флота, участвовал в Чесменском сражении; выйдя в отставку, поселился в Москве, близко сошелся со многими масонами, в том числе с известным издателем и просветителем Николаем Новиковым, состоял членом одной из московских масонских лож. Именно при Гагарине усадебный дом в Армянском переулке был перестроен и приобрел свой нынешний классический облик; автором проекта выступил знаменитый архитектор Матвей Федорович Казаков. Он расширил дом за счет пристроек и надстроил его третьим этажом, практически не затронув основное ядро здания – старинные палаты, создававшиеся на протяжении XVII – XVIII веков. Казаковым была сохранена основная композиция дома с двумя ризалитами на главном фасаде. Между ризалитами он устроил не портик, как можно было бы предполагать, а балкон на колоннах, придав усадебному дому скромный, но вместе с тем изысканный облик. Столь же просто и изящно были оформлены и интерьеры дома.

В 1810 году наследники князя Гагарина продали усадьбу семье Тютчевых – родителям Федора Ивановича Тютчева, в будущем – знаменитого поэта, который провел здесь свои детские и юношеские годы (он прожил в родительском доме до 1822 года). Усадьба не пострадала от пожара в 1812 году – по преданию, Армянский переулок и окрестности уцелели от огня благодаря заступничеству телохранителя Наполеона мамелюка Рустама, армянина по происхождению, солдаты которого охраняли местные усадьбы во время пожара.

В этом доме неоднократно бывали будущие декабристы Д.И. Завалишин и И.Д. Якушкин, которые состояли в родстве с Тютчевыми. В 1831 году Тютчевы продали усадьбу Московскому попечительству о бедных, которое устроило здесь богадельню, названную Горихвостовской – по имени одного из благотворителей; она просуществовала до 1917 года.

В советские годы здесь размещали различные учреждения, сам дом не перестраивался и сохранил почти в первоначальном виде свой исторический облик. Сейчас здесь располагается Российский детский фонд.