Владение по адресу Гоголевский бульвар, 5/2, еще в XVIII столетии входило в большую городскую усадьбу князя Петра Васильевича Лопухина, видного государственного деятеля, возглавлявшего даже Кабинет министров в годы царствования Павла I. Удачной карьерой он был обязан, как ни странно, своей дочери Анне Гагариной, которая была фавориткой императора.

Современный, богато декорированный дом был построен в период с 1850 по 1853 годы архитектором Николаем Ильичем Козловским для статского советника Петра Федоровича Секретарева, являвшегося сыном бывшего камердинера Григория Александровича Потемкина и императрицы Екатерины II. Петр Федорович был меценатом, а также содержал собственный небольшой театр в Нижнем Кисловском переулке, прозванный в народе «Секретарёвкой».

Фасад здания богато оформлен резными колоннами из белого камня и являет собой пример романтического, несколько свободного, или даже нарочитого обыгрывания темы, созвучной стилю ренессанс. История этого дома связана с именем зодчего Константина Андреевича Тона, который проживал здесь во время строительства храма Христа Спасителя в 1850-е годы. По мнению специалистов, этот блестящий архитектор и стал автором постройки для Секретарева. Белокаменные колонны и многие детали здесь почти аналогичны Оружейной палате и Большому Кремлевскому дворцу.

В период с 1926 по 1934 годы в этих стенах жил и работал известный педагог-новатор Станислав Теофилович Шацкий.

Молва поселила в этот шикарный дом Василия Сталина - сына советского вождя Иосифа Виссарионовича Сталина. Но на самом деле, он со своей семьей в 1940-е годы проживал в другом особнячке (Гоголевский бульвар, д. 7), который, правда, находится в одном дворе с усадьбой Секретарева и спрятан за надежным забором…

Многие годы во второй половине XX века в доме было общежитие текстильной фабрики в Бутиковском переулке.

В 90-х годах XX столетия была проведена реконструкция здания, с использованием сохранившихся чертежей. Работы выполнила московская компания «АСК Новый Век». Проект был составлен архитектурным бюро «Триарт-2000».

В 2001 году участвовавшие в реставрации организации были внесены в список и объявлены в числе победителей организованного властями конкурса «На лучшую реставрацию, реконструкцию, новое строительство и благоустройство объектов историко-градостроительной среды г. Москвы, завершенных в 2000 году».

В настоящее время в бывшей усадьбе находятся офисы крупных российских компаний.