Особняк на Большой Никитской улице в XVIII веке принадлежал московскому главнокомандующему Якову Александровичу Брюсу, внучатому племяннику того самого известного шотландца, сподвижника Петра I, Якова Вилимовича Брюса, московского «колдуна и чернокнижника», как поговаривали в народе. Сам Яков Александрович являлся автором проекта перепланировки Москвы 1775 года.

В XVII столетии на месте особняка, построенного в 1770-е годы, находились двухэтажные каменные палаты, часть которых сохранилась в объёме современной постройки. Будучи владельцем усадьбы, Яков Брюс перестроил и существенно увеличил её, пристроив корпусы по переулку и прикупив соседние участки. Особняк - прекрасный образец классической архитектуры, как отмечали современники – один из самых больших и красивых домов в тогдашней Москве. После смерти Брюса владение перешло к его единственной наследнице - дочери Екатерине Мусиной-Пушкиной-Брюс.

Здание было существенно перестроено после пожара 1812 года и стало доходным домом, сдаваемым под квартиры и торговые помещения. По словам литератора Н. А. Полевого, особняк невозможно было узнать, не осталось от него следов Якова Брюса, хотя и носит его имя соседний переулок. Однако Николай Алексеевич сильно преувеличивал. Многие отмечали, как торжественны и величественны были внутренние интерьеры дома. Здесь устраивали встречи и приемы, тут же некоторое время находилось заведение «Художественный класс», предтеча известного Училища живописи, ваяния и зодчества. В январе 1836 года в этом «рассаднике искусства» чествовали художника Карла Брюллова, вернувшегося в Москву. Художники, литераторы и любители искусства устроили обед по случаю возвращения художника и окончания работы над его полотном «Последний день Помпеи».

На территории особняка находились также женские гимназии, реальное училище, меблированные комнаты Медведева. В разное время в доме квартировали именитые люди, среди которых можно вспомнить писателя В. А. Гиляровского, музыканта У. И. Авранека, археографа А. В. Викторова, художников Николая Чехова и Исаака Левитана. Рядом с главным зданием на бывшей хозяйственной территории со временем появились жилые корпусы, которые стали пристанищем для журналистов, работавших в газетах «Правда» и «Беднота». В одном из них останавливался С. А. Есенин после разрыва с Айседорой Дункан.

Считается, что в 1883 году во дворце Якова Брюса абсолютно случайно нашли подземный ход: однажды печник во время работы провалился в дыру и находился там довольно долго. Когда же его обнаружили хозяева, оказалось, что из подвала в сторону Кремля проходит галерея, однако её сразу засыпали.

В 2007-2009 годах памятник архитектуры федерального значения был отреставрирован.