История домовладения 27 известна с середины XVIII в. В 1750-е годы участок принадлежал статскому советнику, полковнику Василию Борисовичу Толстому (1706–90). Внук Ивана Андреевича Толстого, он происходил от старшей неграфской линии. Этих Толстых еще называли Ундорские, по родовому имению. Планировка усадьбы была характерна для эпохи раннего московского классицизма. В центре двора стоял деревянный главный дом, по бокам два деревянных хозяйственных строения. Перед домом был большой двор, а позади него сад большой с кузницей, оранжереей летней и зимней отапливаемой.

В 1773 г. крупный пожар уничтожил постройки двора и даже задел соседние владения. 4 сентября 1773 г. Толстой подал прошение в Московскую полицмейстерскую канцелярию о новом строительстве. Чертеж был подписан архитектором П.Ф. Бортниковым, исполнявшим в 1767–85 гг. обязанности «архитектура 1-го класса помощника» в полицмейстерской канцелярии. Поэтому считается, что новый дом Василию Борисовичу построил именно он.

С тех пор вид усадьбы был неизменен до 1930-х годов, а главный дом сохранил свой вид до наших дней.

В центре парадного двора после пожара был построен новый, более крупный каменный двухэтажный особняк. По красной линии улицы были симметрично построены изба для прислуги и погреб с напогребницею. Позади дома также симметрично стояли кухня и баня, далее до Сусального переулка простирался большой сад с не сгоревшими в пожаре деревянными постройками.

На парадном фасаде главного дома был сделан небольшой ионический пилястровый портик, ему отвечали пилястры, обрамляющие крайние пары окон (сам портик не сохранился, но пилястры остались). Садовый фасад более сложно декорирован. Под карнизом выраженные сухарики, окна имеют сложные накладки-наличники. Центр фасада отмечен полукруглыми окнами и ажурным балконом на мощных белокаменных кронштейнах. Возможно, с него был выход в сад. С него открывался потрясающий вид на Лефортово, Разгуляй и дальше на Сокольники.

По легенде, с этого балкона Наполеон смотрел на горящую Москву осенью 1812 г.

От первоначальной отделки интерьеров частично сохранилась планировка помещений и фрагмент росписи в одной из залов парадной анфилады.

Василий Борисович был женат на Дарье Никитичне Змеевой. Их дочь Анна была замужем за графом Ф.А. Остерманом, знаменитым государственным деятелем времен Елизаветы Петровны и Екатерины Великой, дочь Марфа – девица. Сын Николай был замучен пугачевцами, Александр – симбирский губернатор, дед декабриста В.П. Ивашева, Лев стал дедом поэта Ф. Тютчева.

В 1791 г. дом унаследовала старшая дочь Марфа Васильевна Толстая. После ее смерти в 1808 г. усадьбу продали купцам Борисовским, которые владели ею до 1906 г. У Борисовских была сахарная фабрика в Яузской части, они были крупнейшими оптовыми торговцами сахаром и чаем как в Москве, так и в Петербурге. Мартемьян Иванович Борисовский с сыновьями Никанором и Иваном создали Торговый дом «Мартемьян Борисовский с сыновьями». В 1849 г. они купили полотняную фабрику в Переславле-Залесском у известного московского купца Куманина.

Сестра Никанора и Ивана Мария Ивановна Борисовская вышла замуж за Назара Ивановича Хлудова, брата знаменитых Алексея и Герасима, которые потом жили неподалеку.

В 1871 г. Мария Ивановна (именно она значится как хозяйка) с мужем капитально перестроили особняк, переделали в модном стиле парадную лестницу. Стены ее отделали под мрамор итальянской штукатуркой. Над ней был сделан световой фонарь в виде четырехскатного шатра.

В начале 1880-х годов дела Борисовских пошатнулись, и в 1906 г. им пришлось продать дом Московско-Курской железной дороге. Там размещалось ее правление.

После революции дом разделили на квартиры. Каменные крылья с людской и погребом, оранжереи, беседки снесли. Части сада дом лишился еще в XIX веке, когда по нему пролегла железная дорога. А в 1930-е годы его огородили большими домами.

В 1970 г. всех жителей переселили. В особняке сделали реставрацию. И передали НИИ Теплобетон.

А в 2010 отдали Дому культуры "Гайдаровец".