Главный дом одной из лучших городских усадеб Москвы, с торжественным шестиколонным портиком и двумя симметричными флигелями, был построен в 1789–91 годах для отставного бригадира Ивана Ивановича Демидова, младшего представителя известной фамилии уральских горнозаводчиков.

Первым Демидовым в этих владениях был отец Ивана Ивановича, Иван Никитич Демидов. Ему усадьба досталась от А. Гурьева и представляла собой небольшие каменные палаты с одноэтажным строением по линии переулка. Эти постройки были включены в казаковский дом. Первый Демидов добавил регулярный парк и оранжереи.

Дом, выстроенный Казаковым, отличался от нынешнего парадным въездом в усадьбу: он представлял собой проездную арку в центре дома. Сейчас из нее сделаны парадный вход и вестибюль. Сильно перестроены и боковые флигели.

Дворцовой пышностью отличались интерьеры дома, самыми известными из которых являются так называемые «Золотые комнаты». Их карнизы, мебель, камины, двери украшены искусной деревянной позолоченной резьбой, возможно, выполненной мастерской П. Споля. Ныне эти и многие другие из великолепных залов (Голубая, Малиновая, Изумрудная гостиные) отреставрированы.

Следующим владельцем дворца стал генерал от инфантерии Николай Иванович Демидов. После его смерти с 1833 года усадьбой владели: один из московских чудаков, отличавшийся феноменальной скупостью, И. Быков, уроженец Тифлиса Г. Тамамшев, купец М. Степанов, который в 1858 году продал владение Межевому ведомству для школы межевых топографов. С 1873 года здесь разместился Константиновский межевой институт, переехавший со Старой Басманной. Преподаватели жили здесь же на казенных квартирах. Одну из них неоднократно посещал Достоевский: его родная сестра была замужем за преподавателем А. Ивановым.

С 1930 года учебное заведение переименовано в Институт инженеров геодезии, аэрофотосъемки и картографии. С 1993 года – Государственный университет геодезии и картографии (МИИГАиК). Университет обладает богатейшим музеем старинных геодезических инструментов, атласов и карт.