Двухэтажный особняк в классическом стиле с повышенным левым ризалитом увенчанным треугольным фронтоном возведен в 1898 году архитектором Александром Александровичем Драницыным для потомственного почётного гражданина Сергея Ивановича Елагина. Фасад по улице ассиметричен. Главный вход сделан в левом ризалите. Правый ризалит украшен двойным окном, пилястрами и лепниной. Окна по фасаду имеют треугольные сандрики.

Эта сторона Страстного бульвара оформилась владениями после пожара 1812 года. Небольшие особнячки чаще всего стояли вдаль красной линии улицы, а за ними располагался небольшой садик. Некогда особняк занимал доминирующее угловое положение между бульваром и несуществующим ныне проездом, и именно этим объясняются его Г-образная конфигурация и наличие двух разных, но одинаково нарядных фасадов. Южный, с двухколонным портиком, обращен к Страстному бульвару, восточный, с портиком из шести пилястр в сторону ул. Петровки.

В середине 19 века здесь доживала свой век знаменитая Мария Аполлоновна Волкова, которая прославилась своими письмами к подруге Варваре Ивановне Ланской, урождённой Одоевской. Письма относящиеся к периоду 1812-1813 года были изданы к 100-летию Наполеоновского нашествия и получили большую известность, потому что создали яркую картину бедствий московских обывателей во время войны и последствия пожара 1812 года. Эти письма использовал Л.Н. Толстой при написании романа «Война и Мир». После ее смерти в 1859 году дом был продан.

В 1897 году дом принадлежит уже потомственному почетному гражданину Алексею Григорьевичу Каменскому, директору Торгового дома «Товарищество пароходства и транспортировки грузов Ф. и Г. братьев Каменских», руководителю конторы по торговле хлопком в Москве.

С 1898 по 1910-е годы это владение принадлежало потомственному почётному гражданину Сергею Ивановичу Елагину. В 1910 году его покупает инженер Березин Михаил Владимирович. Видимо для него в 1910 году к зданию со стороны двора была сделана пристройка зимнего сада по проекту Осипа Осиповича Шишковского. В советские годы эта пристройка была утрачена, но не смотря на это особняк сохранил целостность архитектурно-художественного решения.

В 1920—1930-х годах в особняке помещалось журнально-газетное объединение Жургаз, занятое выпуском «Огонька», а заодно и еще трех десятков периодических изданий. Здесь работал журналист Михаил Кольцов, главный редактор «Огонька», возобновивший издание журнала после революции. Об этом напоминает мемориальная доска на фасаде особняка, установленная в 1972 году. В то время здесь бывали Владимир Маяковский, Демьян Бедный, Ильф и Петров, Владимир Гиляровский. В саду особняка действовал летний ресторан «Жургаза», популярный у журналистов и писателей. Он стал одним из прообразов ресторана Грибоедова в романе Михаила Булгакова «Мастер и Маргарита». Сам писатель, большой любитель широкой жизни, часто бывал здесь, где под звуки джазового оркестра Александра Цфасмана пировал и наслаждался жизнью интеллектуальный бомонд Москвы.

В послевоенные годы в особняке разместился Свердловский райисполком, потом Институт истории партии при МК КПСС, затем областной комитет народного контроля.

Дом С.И. Елагина имеет охранный статус выявленного объекта культурного наследия. Дом сохранил не только фасады и ограду, но и подлинные интерьеры – двери, плафоны, печи. В чем, пожалуй, и заключается его главная ценность.