В середине XVIII века здесь располагалось имение Прокофия Акинфиевича Демидова, известного благотворителя, мецената, сына уральского горнозаводчика А.Н.Демидова. Он построил дворец и разбил при нем великолепный ботанический сад.

С 1796-1808 годы, при следующем владельце – графе Алексее Григорьевиче Орлове-Чесменском – дом Демидова был перестроен, в нем появился целый ряд новых архитектурных сооружений. В частности, был создан «комплекс хозяйственных построек, благоустроен парк, в котором появились павильоны, мостики и грот. Именно эта усадьба стала основой для создания летнего Александринского дворца, предназначенного для супруги императора Николая I Александры Федоровны», - писали И.К. Бахтина и Е.Н. Чернявская в своей книге «Загородные усадьбы Москвы». Позже имение и соседние усадьбы Голицыных и Трубецких-Шаховских выкупил император Николай I, который, объединив их в одно большое владение, и дал ему название Нескучный сад. 

Во второй половине XVIII века, при графе Орлове-Чесменском, один из служебных корпусов был задуман как манеж с прилегающими к нему конюшнями и оранжереями. Пройдет время, и он превратится в зал приемов при Александринском дворце. Именно в это здание много лет спустя, уже в советское время, из Ленинграда (ныне Санкт-Петербурга) переехал Минералогический музей, носящий имя академика А. Е. Ферсмана. Музей, основанный в 1726 году как минералогический кабинет Кунсткамеры, с 1725 года находится в ведении Российской академии наук. Основная коллекция музея насчитывает более 150 тысяч экспонатов.

Параллельно с реконструкцией Александринского дворца (ныне являющегося объектом культурного наследия федерального значения) в 1833–1834 годы перестраивались и другие служебные корпуса. Автором проекта был выдающийся архитектор и коллекционер Евграф Дмитриевич Тюрин, благодаря которому ансамбль Александринского дворца в Нескучном саду обрел поистине уникальный облик. Авторский стиль Тюрина, прославившегося перестройкой Большого Кремлевского дворца, вошел в историю архитектуры, до сих пор не переставая восхищать ценителей прекрасного. Архитектор, чьей миссией было трудиться над восстановлением храмов и дворцов после московского пожара 1812 года, получил наибольшую известность как автор кафедрального Богоявленского собора на Елоховской площади, церкви св. Татьяны на Моховой, а также «нового» Аудиторного корпуса Московского Университета.

После победы над Наполеоном и войны 1812 года в Москве прочно воцарился ампир, главными чертами которого стали величественность, изысканность, монументальность. Это зримо отразилось на облике строившихся в то время зданий все четыре двухэтажных служебных корпуса, сосредоточившихся в северной части нынешнего Нескучного сада, были победоносно устремлены торцевыми фасадами в сторону Москвы-реки. Между ними располагалась алея, ведущая к одним из ворот Нескучного сада. Нынешняя ограда и ворота были возведены в 1935 году по проекту архитектора В.А. Доманова.

Общая композиция фасадов была решена в едином архитектурном стиле. На авансцену, как и положено по определению, выдвинулся ризалит (от итал. risalita «выступ») с парадным входом, заканчивающимся полукруглой аркой архивольт, искусно усиливающей мощное впечатление от арочной дуги. Примерно до середины фасад декорирован рустованными камнями. Строго и изящно.

Под стать внешнему декору выполнен и интерьер Минералогического музея, представляющего собой большой зал с обилием арочных окон по боковым стенам, античным потолком и внутренними колоннами. В центре зала расположены столы и стенды с экспонатами. Обилие света и торжественность ампирной обстановки придают коллекции дополнительную эстетическую ценность.

Другие служебные корпуса внешне решены также строго и эффектно, но с небольшими отличиями. Протяженные боковые фасады уступают по нарядности торцевым фасадам, но также выдержаны в стиле ампир. Помпезность расположения корпусов лучше всего считывается из глубины сада. Мощный эффект достигается за счет спуска к Москве-реке: двигаясь со стороны реки к центру композиции, создается ощущение восхождения к античному акрополю.

В 2022 году створки ворот главного въезда на территорию Александринского дворца, в котором обосновалась Академия наук РФ, установили на историческое место после реставрации. Парадные ворота Александринского дворца – отдельный, уникальный культурно-историческим объект. До начала реставрации ограда находилась в плачевном состоянии, беспокойство также вызывали накренившиеся пилоны. Мастерам удалось отреставрировать чугунные ворота и пилоны. Также разрабатывается проект реставрации Александринского дворца.