Здание издательства «Советский писатель», принадлежавшее Союзу Писателей, в XVIII в. было частью старинной барской усадьбы рода Олсуфьевых. За большим палисадом стоял барский дом, окруженный по бокам флигелями. За домом были хозяйственные постройки и сад, выходящий на Малую Молчановку.

После пожара 1812 г. усадьбу восстанавливали уже новые хозяева — Черновы. У них в 1829–30 гг. ее арендовала на зимние сезоны Екатерина Апраксеевна Столыпина, невестка бабушки М.Ю. Лермонтова. Арсеньева с внуком в 1829 г. жила тут же, на Поварской, почти напротив, в доме майорской жены Костомаровой. На Поварской у Столыпиных постоянно собиралась молодежь. Сюда на уроки известного танцевального учителя Иогеля приходили дети многочисленной столыпинской родни, московских знакомых и соседей по имению: Сушковы, Лопухины, Мартыновы. Здесь завязывались романы, писались стихи в альбомы; листки стихов Лермонтова переходили из рук в руки.

В середине XIX в. дом был разбит на квартиры и сдавался внаем. За это время он повидал много известных деятелей русской культуры. С 1867 г. тут жил и в 1869 г. умер русский писатель И.И. Лажечников. В 1875–1876 гг. в доме снимал квартиру писатель и этнограф-беллетрист П.И. Мельников-Печерский, написавший здесь принесший ему известность роман «В лесах». В 1870-е гг. в усадебном доме также жили: композитор и дирижёр М.М. Ипполитов-Иванов, которого навещал здесь Н.А. Римский-Корсаков, и врач-невропатолог, профессор А.Я. Кожевников.

В конце XIX в. усадьбу покупает семья Александры Тимофеевны Назаровой — дочери Тимофея Саввича Морозова. Она была замужем за Александром Александровичем Назаровым — управляющим морозовских заводов. Александра Тимофеевна много лет страдала наследственным в этой семье душевным заболеванием. Не выдержав душевной болезни жены, ее муж в 1900 г. покончил жизнь самоубийством, В 1903 г. ушла из жизни и Александра Тимофеевна. После ее трагической смерти до самой революции домом владела их дочь Юлия Александровна Стукен. В 1900–1903 гг. она предприняла перестройку владения. Архитектор М.Ф. Бугровский снес флигели по улице, надстроил главный дом и пристроил правый корпус. Балкон второго этажа был украшен фланкирующими окна полуколоннами и гермами с женскими масками, а также декоративными лепными филенками над окнами. У дома появилась готизированная металлическая кованая ограда, в центре которой расположены въездные ворота. А рустовка и форма наличников с сандриками и кронштейнами второго этажа сохранились, возможно, от первоначального оформления фасада здания.

Во время революции Ю. Стукен уехала во Францию. А в доме разместился 6-й Дом Советов, в котором с 1918 по 1925 гг. жили советский государственный и партийный деятель Л.Б. Красин и писатель, первый председатель азербайджанского совнаркома Н. Нариманов. Здесь же размещался Наркомат рабоче-крестьянской инспекции (РабКрИн) с кабинетом наркома И.В. Сталина. В 1932 г. главный дом усадьбы был надстроен двумя этажами. Сейчас тут устраивается офисный центр.