Особняк «Ректорский Дом» был построен в 1740-х годах в самом сердце Москвы и являлся дворцовой усадьбой князей Волконских. Культурная история здания богата и многообразна, как и люди, которые в нем жили. 

В конце XVIII в. Императорский Московский университет, а сегодня МГУ имени М.В. Ломоносова, приобрел участки старых боярских усадеб в глубине квартала на Моховой, и в том числе дом Волконских, сохранивший в основе своей архитектуру палат XVII века. Если сравнить фотографии 1978 г. с чертежом Казакова, то видно, что это два разных памятника. Хотя очень часто в краеведческой литературе их объединяют. Между тем, вопрос, где же находились палаты Волконских, остаётся открытым.

В начале XIX века дом был отдан под квартиры профессоров. Когда в университете появилась выборная должность ректора, то занявший ее в 1805 г. П.И.Страхов не стал селиться в прежних директорских покоях Главного корпуса, а принял квартиру в этом доме. Его примеру последовали и другие ректоры, почему и сам дом вскоре получил название Ректорского.

«Ректорский дом» затерялся во дворе университета и представляет собой обычный двухэтажный московский дом с вросшими в землю окнами нижнего этажа. Это старейшее здание университета: оно единственное уцелело во время пожара 1812 года. В пожар 1812 г. дом уцелел потому, что профессор Штельцер, оставшийся в Москве и имевший квартиру в нем, сумел отстоять его от пламени.

«Ректорский дом» славно послужил русской науке. Здесь жил юрист, любитель театра Н.Н. Сандунов, у которого часто бывали московские актеры. Один из профессоров, И.А. Двигубский, устроил на террасе дома метеорологическую обсерваторию, результаты наблюдений которые регулярно публиковались в газете «Московские ведомости». В этом доме он работал над изданием одного из немногих тогда научных журналов «Новый магазин естественной истории, физики, химии, сведений экономических», где помещались оригинальные статьи и, в частности, работы Ломоносова, также появилась первая печатная работа студента Герцена.

Ректор А.В. Болдырев уступил часть своей квартиры профессору Н.И. Надеждину. По воспоминаниям воспитанника университета филолога Ф.И. Буслаева, «на университетском дворе, направо у самых ворот, выходящих в Долгоруковский переулок, стояло тогда высокое каменное здание, которое было занято квартирою ректора университета Болдырева, профессора арабского и персидского языков, очень доброго и всеми уважаемого. Он был тогда человек уже пожилой, очень любил молодого профессора эстетики Николая Надеждина и дал ему помещение у себя, а Надеждин в свою очередь в одной из своих комнат держал при себе Белинского, впоследствии ставшего знаменитым критиком, а тогда не более как студента, который, не кончив университетского курса, был сотрудником и правою рукою Надеждина, редактора, издававшего в то время журнал „Телескоп“. В «Ректорском доме» находилась практически редакция популярного журнала «Телескоп». То был журнал демократического направления.

В журнале Надеждин в 1836 году поместил «Философическое письмо» Чаадаева (тоже воспитанника университета), вызывавшее резкую реакцию властей: Чаадаева объявили сумасшедшим, Надеждина сослали, Болдырева уволили, Белинскому пришлось вновь искать пристанище.

В 1871 г. ректором был избран известный историк С.М. Соловьев, который не захотел использовать казенную квартиру и уступил ее под физическую лабораторию профессора А.Г. Столетова.

Маленький дом вошел в историю русской физики. Именно в нем Александр Столетов завершил свои известные работы по исследованию фотоэффекта и прославился созданием фотоэлемента.

В этих стенах работали Жуковский и знаменитый физик Петр Лебедев, измеривший давление света (его лаборатория располагалась в подвале здания). Здесь же работал талантливый самоучка И.Ф.Усагин, создавший трансформатор, и другие ученые, поднявшие, по словам профессора Тимирязева, преподавание физики в Московском университете на высоту, «может быть, даже превосходившую уровень преподавания в крупнейших научных центрах тогдашней Западной Европы».

В «Ректорском доме» физики ютились свыше 30 лет. После постройки Физического института ректорский дом стал обычным жилым, занятым квартирами профессоров университета. В нем жили известные геологи А.П. и М.В. Павловы.

“Ректорский дом” прибавил к своей архитектурной ценности мемориальное значение для истории русской науки и культуры. Судьба старинного дома в ХХ веке была печальной. Балансодержатель - Геологоразведочный институт - привел здание к концу 1990-х годов в аварийное состояние. Несмотря на существование проекта реставрации уникального памятника архитектуры, инвестор - фирма “Дорения” и проектировщик - проектное бюро “Попов и партнеры” неоднократно предлагали снести “Ректорский дом” “с воссозданием”. В 1990-х годах здание находилось в аварийном состоянии. В 2004 году дом воссоздан со стеклянной крышей.