Особняк в переулке Огородная слобода (ранее — Чудовский пер., пер. Стопани) был построен по проекту знаменитого архитектора Романа Ивановича Клейна для семьи чаеторговцев Высоцких в 1900–1901 гг. и стилизован под французского шато. Заказчиком был известный фабрикант Давид Высоцкий, глава чаеторговой фирмы «В. Высоцкий и Ко».

Фирма была основана в 1849 г. Вульфом Высоцким и вскоре стала одной из крупнейших компаний в России: держала несколько чаеразвесочных фабрик по всей стране и контролировала треть всего чаеторгового рынка в России. Сам Вульф Высоцкий стал потомственным почетным гражданином Москвы и получил звание «поставщик Двора Его Императорского Величества». Семейное дело унаследовал Давид Вульфович Высоцкий, при котором фирма вышла на европейский и американский рынки.

Высоцкие были известны как благотворители, Вульф Высоцкий жертвовал немало средств еврейским организациям, на его деньги был основан Политехнический институт (Технион) в Хайфе. Его сын Давид давал средства на содержание московских лечебных и благотворительных учреждений; на его пожертвования был отделан зал Хоральной синагоги. Давним другом Высоцких и частым гостем в их доме был художник Леонид Осипович Пастернак. Л.О. Пастернак писал портреты членов семьи Высоцких, а дочери Давида Вульфовича Ида и Елена брали у него уроки рисования.

Часто бывал здесь и Борис Леонидович Пастернак, который дружил с Идой и «давал ей нерегулярные уроки неведомо чего». «Вернее, — вспоминал Пастернак в повести «Охранная грамота», — в доме оплачивали мои беседы на самые непредвиденные темы. Но весной 1908 года совпали сроки нашего окончанья гимназии, и одновременно с собственной подготовкой я взялся готовить к экзаменам и старшую В-ю. Большинство моих билетов содержало отделы, легкомысленно упущенные в свое время, когда их проходили в классе. Мне не хватало ночей на их прохожденье. Однако урывками, не разбирая часов и чаще всего на рассвете, я забегал к В-й для занятий предметами, всегда расходившимися с моими, потому что порядок наших испытаний в разных гимназиях, естественно, не совпадал. Эта путаница осложняла мое положенье. Я ее не замечал. О своем чувстве к В-й, уже не новом, я знал с четырнадцати лет. Это была красивая, милая девушка, прекрасно воспитанная и с самого младенчества избалованная старухой француженкой, не чаявшей в ней души. Последняя лучше моего понимала, что геометрия, которую я ни свет ни заря проносил со двора ее любимице, скорее Абелярова, чем Эвклидова. И, весело подчеркивая свою догадливость, она не отлучалась с наших уроков. Втайне я благодарил ее за вмешательство. В ее присутствии чувство мое оставалось в неприкосновенности. Я не судил его и не был ему подсуден. Мне было восемнадцать лет. По своему складу и воспитанью я все равно не мог и не осмелился бы дать ему волю».

Решительное объяснение между Идой Высоцкой и Пастернаком произошло в Марбурге через четыре года после описанных им событий. Несмотря на отказ Иды, они не переставали встречаться вплоть до ее замужества в 1917 г. Многие стихи Пастернака ранней поры содержат женский образ, генетически связанный с личностью Иды Высоцкой. В одном из них запечатлена и гостиная особняка в Чудовском переулке:

Мне снилась осень в полусвете стекол,
Терялась ты в снедающей гурьбе.
Но, как с небес добывший крови сокол,
Спускалось сердце на руку к тебе.
Припомню ль сон, я вижу эти стекла
С кровавым плачем, плачем сентября;
В речах гостей непроходимо глохла
Гостиная ненастьем пустыря.
В ней таял день своей лавиной рыхлой
И таял кресел выцветавший шелк,
Ты раньше всех, любимая, затихла,
А за тобой и самый сон умолк.

О подобном вечере Б.Пастернак писал в черновике письма, обращенного к Иде, весной 1910 г.: «Вчера в Чудовском был ослепительный Седер весь стол был в розах, несколько новых людей, смех, непринужденность, потом полнейший мрак к десерту с иллюминованным мороженым, которое проплыло сказочными красными домиками между черно-синих пролетов в сад, при натянутых шутках. Потом опять снежная скатерть, электричество в хрустале и розы. А потом желтый сад и голубые девочки, потом полумрак и какая-то легенда, разыгрываемая лучами пламени в зеркалах, сваями мрака в окнах…». Без сомнения, ореол сказки, чуда и тайны придавало таким вечерам присутствие на них молодой хозяйки, которой Пастернак в том же черновике адресовал признание: «Моя Ида, я не вижу и не знаю ничего сейчас кроме тебя».

Вскоре после революции Высоцкие покинули Россию, их фабрики, магазины и московский дом были национализированы. Высоцкие сохранили часть капиталов и продолжили свое торговое дело — сначала в Европе, а потом в Палестине. Их фирма «Wissotzky Tea» существует до сих пор.

В особняке в 1920-х – 1930-х гг. размещалось Общество старых большевиков, а после ликвидации Общества — городской Дом пионеров. Здесь неоднократно бывала Н.К. Крупская. Тогда же к дому была сделана пристройка со стороны двора, выполненная довольно деликатно по отношению к творению Клейна, но все же исказившая пропорции особняка. Богатые интерьеры были почти полностью утрачены в результате переделок и ремонтов. Сейчас здесь располагается Дворец творчества детей и молодежи.