Этот дом включен в альбомы партикулярных строений М. Ф. Казакова и является одним из самых значительных зданий Москвы, построенных в период раннего классицизма.

Дом выстроен около 1780 года Иваном Ивановичем Шуваловым, известным фаворитом императрицы Елизаветы Петровны, покинувшим двор при воцарении Екатерины II и вернувшимся из чужих краев лишь в конце 70-х годов. Из-за своей приверженности императору Петру III он решил, как большинство опальных и старых вельмож, поселиться в Москве. Неизвестный, но искусный архитектор, по преданию итальянец, составил план дома, который был построен на купленном тогда же Шуваловым участке земли.

Двухэтажный с двусветной ротондой посередине – так смотрелся дом с улицы, а со двора он был в четыре этажа сложной конфигурации из-за антресолей и полуэтажей. На обширном дворе было три каменных флигеля, конюшни, амбар, сараи и довольно большой сад. Фасад дома с характерными для допожарной Москвы вертикальными нишами, обрамляющими окна второго парадного этажа. Центр фасада, завершенного нераскрепованным строгим карнизом, выделен лишь сандриками над пятью оконными проемами. Парадный вход был устроен со двора, где из сеней по крутой парадной лестнице можно было попасть в парадную анфиладу, тожественно отделанную и наполненную произведениями искусства собранными не одним поколением. Там были шедевры иностранных мастеров, портреты императора Петра Великого и благодетельницы Елизаветы Петровны, бюст Екатерины работы скульптора Шубина.

Но Шувалов в своем доме так и не поселился: Екатерина вернула ему свое благоволение, сделала обер-камергером, и остаток своих дней он прожил в Петербурге, где умер в 1797 году. Свой московский дом он подарил племяннику, сыну сестры, князю Федору Николаевичу Голицыну, куратору Московского университета. Эту ветвь князей Голицыных, чтобы не запутаться, современники именовали «Голицины с Покровки». Их главным подмосковным имением было «Петрово-Дальнее». Семья владела домом до 1917 года.

В 1812 году дом не горел, и в нем, по преданию, жил один из наполеоновских маршалов. Во дворе прямо против большого дома был длинный узкий флигель, а с правой стороны – другой, на улицу. Два этих флигеля когда-то занимались дворовыми, кухней и главноуправляющим, но с начала 80-х годов сдавались под контору американской компании швейных машин "Зингер".

Еще на том обширном дворе стоял старинный амбар с закромами, в которые до проведения железной дороги ссыпались привозимые из имений мука, овес, крупа и складывалась мороженая живность. Позднее в амбаре хранилась старая мебель и разная рухлядь, часть же сдавалась.

В этом доме родился и вырос гражданский губернатор Москвы, а затем московский городской голова, князь Владимир Михайлович Голицын. Несколько первых лет жизни здесь провел его внук автор «Записок уцелевшего» князь Сергей Михайлович Голицын.

В 1887 году семье уже не по карману было содержать такой дом. На семейном совете было решено перестроить первый этаж под магазины, а второй сдать гимназии Л. Н. Валицкой. Сами стали на зиму снимать разные квартиры.

В 1910-х годах вместо правого флигеля решили построить большой доходный дом по проекту архитектора Ф. Л. Контрима, что и было осуществлено в 1914 году.

В 1917 году Голицыны были лишены своего имущества и уехали жить в Богородицк. Вернулись в Москву они после 1924 года.