История имения начинается с Федора Григорьевича Орлова, именно он приобрел здесь два обширных участка, которые после смерти графа перешли по наследству его одиннадцатилетней племяннице - Анне Орловой-Чесменской. Фактическим же хозяином стал брат Федора Григорьевича, отец Анны - граф Алексей Григорьевич Орлов-Чесменский.

Основные планировочные преобразования в усадьбе случились в это же время и связаны были с главной страстью графа — лошадьми. На его заводе были выведены две породы лошадей, рысак и верховая лошадь, получившие название Орловских. Прежде, чем прославиться на ипподромах всего мира, Орловские лошади показывали свои достоинства на Орловском лугу, который располагался там, где нынче мчатся, перегоняя друг друга, автомобили по Ленинскому проспекту.

Здесь, вдоль северо-восточной границы служебного двора, возвели протяженное каменное двухсветное здание Манежа и примыкающих к нему конюшен. В манеже Орлова устраивались карусели — конные состязания и процессии, в которых принимала участие его дочь Анна.

В 1844 году архитектор Е.Д. Тюрин перестраивает манеж и конюшни под помещения эскадрона кавалерии. И по своему прямому назначению здания используются вплоть до революции. Манеж Орлова был самым большим манежем до тех пор, пока не построили манеж под стенами Кремля.

В 1918 году все владения были национализированы и поставлены на государственную охрану. Тут размещались разного рода музеи. Музей минералогии появился в этом здании в 1934 году, когда было принято решение о переводе большей части учреждений Академии наук из Ленинграда в Москву. Для того чтобы перевезти музей в Москву понадобилось 30 вагонов. Количество экспонатов музея насчитывало около 60 тыс. + 20 тыс. дублетных экземпляров. С трудом, но переезд состоялся, и с 1936 года музей минералогии находится в Москве. Он и сегодня принимает посетителей в здании бывшего Орловского манежа.