Николай Рябушинский, пятый из братьев Рябушинских, отличался расточительностью и эксцентричностью характера. Растратив значительную часть своего капитала, в 1900 г. был отстранен братьями от семейного дела. На несколько лет над его имуществом была установлена опека. В 1905 г. он продает братьям свои паи семейного хлопчатобумажного товарищества, чтобы издавать журнал «Золотое руно», ставший центральным изданием русского символизма. Николаю Рябушинскому удалось собрать вокруг себя лучших представителей художественной интеллигенции Москвы. Следующим его детищем стала открытая в марте 1907 г. выставка «Голубая роза», положившая начало одноименному объединению художников-символистов. Еще через два года он устраивает вернисаж современных французских художников, впервые познакомивший московскую публику с творчеством Анри Матисса.

Еще одним эксцентричным поступком Николая Рябушинского, привлекшим внимание московской общественности, становится строительство виллы в Петровском парке. За строгим неоклассическим фасадом виллы скрывались причудливые интерьеры, поражавшие современников своей экзотической роскошью. Стилизованное изображение черного лебедя украшало все — изготовленную по специальному заказу мебель, фарфоровые сервизы, хрусталь, заказанные в Италии рюмки из тончайшего венецианского стекла. Черный лебедь украшал и фронтон виллы. Новоселье Николай Рябушинский обставил со свойственным ему размахом — были разосланы приглашения на великолепной бумаге, украшенные вензелем с изображением черного лебедя и надписью «Вилла Черный Лебедь». Сад украшали высаженные прямо в грунт пальмы, клумба перед террасой была засажена орхидеями, по саду разгуливали павлины и фазаны, а на цепи у собачьей конуры сидел леопард.

Живописные панно для оформления виллы были заказаны лидеру «Голубой розы», художнику-символисту Павлу Кузнецову. Холл виллы украшал огромный фриз «Нерожденные младенцы», производивший, по словам современников, неприятное впечатление. Виллу украшали редкие и экзотические предметы, привезенные Николаем Павловичем из многочисленных путешествий — приобретенные на Яве отравленные стрелы, вазы и фигурки драконов с острова Майорки. Здесь же размещалась коллекция живописи, включавшая как ценнейшие произведения европейских мастеров — Кранаха, Брейгеля, Пуссена, так и работы современных французских и русских художников. Была на вилле и мастерская самого Николая Рябушинского — одаренного художника-любителя.

Среди разнообразных комнат виллы была и «бабушкина комната». По словам друга Николая Рябушинского, известного художника Сергея Виноградова, «комната действительно была такой, точно давно и долго в ней жила бабушка. И божница, и ширмочки старинные, и сундуки-укладочки, и бисерные всякие вышивки, и вся нехитрая мебель красного дерева — ну совсем, совсем, все бабушкино. Контрастно было с фризом из “Нерожденных младенцев” Кузнецова и картинами Ван Донгена и Ван Гога».

В саду виллы Николай Рябушинский строит зверинец в виде грота с куполом. В нем он собирался держать тигров и львов, с которыми, по его словам, «чувствовал сопричастность». Но от этой затеи в конце концов пришлось отказаться — полиция запретила устройство зоопарка в частном владении. У входа в сад был размещен мраморный саркофаг с фигурой быка, который должен был впоследствии стать гробницей хозяина виллы.

Вилла «Черный лебедь» часто становилась местом пиров-праздников, которые Николай Рябушинский устраивал с невиданной пышностью и изобретательностью. Художник Сергей Виноградов вспоминает устроенный в первую весну «Черного лебедя» «Праздник яблоневого цветения»: «Обед был сервирован на огромной открытой террасе, выходившей в цветущий яблоневый сад. Это же было действительно чудесно! А когда стемнело, то вокруг все цветущие деревья засветились маленькими разноцветными огнями и еще маленькие огоньки светились в густой весенней траве между яблонями, как светлячки. Даже я, близкий к Коле, не знал о приготовленной иллюминации. Это было волшебно. По всему саду были сервированы небольшие столы, и пировали до утренней зари в благоухающем цветущем саду. Под яблонями около столиков были пущены прыгающие, ползающие, летающие заводные, вывезенные из-за границы кузнечики, лягушки, бабочки, ящерицы, пугавшие дам, а это еще прибавляло веселья. Игрушечками кто-то невидимо заведовал». В другой раз, на Новый год, Николай Рябушинский украсил деревья перед домом сотнями электрических лампочек, светивших разноцветными огнями из-под снега, и устроил в саду прием, на котором дарил гостям картины и драгоценности.

В 1915 г. вилла сильно пострадала от пожара, в котором погибла значительная часть ее убранства и коллекции живописи, включая живописный фриз Павла Кузнецова и большое количество картин «Голубой розы». К счастью, из огня удалось вынести врубелевский портрет Валерия Брюсова.

После пожара Николай Рябушинский продает виллу. Следующим ее владельцем стал друг Николая Павловича — нефтепромышленник Леон Манташев. По слухам, он выиграл у Рябушинского виллу в карты. На здании имеется вензель Леона Манташева - ЛМ.