Прекрасный образец классической архитектуры Москвы, включенный М. Ф. Казаковым в Альбом лучших "партикулярных" (т. е. частных) зданий города, украшает угол Романова переулка и Большой Никитской.

Часть дома по переулку наиболее старая – сер. XVIII века. Возможно, этот флигель включил в себя и части древних палат боярина Богдана Матвеевича Хитрово, стоявших в XVII в. как раз на этом месте. В XVIII в. угловой участок принадлежал обер-президенту магистрата С. Зиновьеву, потом стольнику С. Клокачеву, с 1761 г. князю А. Голицыну, а с 1765 г. – младшему из знаменитых братьев Орловых, графу Владимиру Григорьевичу.

Главный дом в конце XVIII века перестраивался дважды. Сначала в 1792 году, когда он стал двухэтажным, затем в 1799. Тогда для капитальной перестройки был приглашен М. Казаков. Со двора между двумя ризалитами были построены каменные двухэтажные «сени», вестибюль. Эти «сени» с балконом, на который могли выходить танцующие, сделали дом уникальным в Москве. В Альбомах Казакова сохранились чертежи с внутренней отделкой залов вплоть до диванов и люстр.

В 1830-е гг. после пожара восстановлением и отделкой дома занимались О. Бове и С. Кампиони. Тогда появился третий этаж.

Фасад дома со стороны улицы строго симметричен, его центр подчеркнут портиком из четырех пилястр сейчас коринфского ордера, а до пожара 1812 г. – ионического. Между пилястрами в центре расположены барельефы на античные сюжеты – возможно, авторства С. Кампиони.

На втором этаже дома была огромная бальная зала. Со стороны сада она выходила на открытую галерею, где гости прохаживались, охлаждаясь от танцев. Теперь она закрытая, видны только остатки украшавших ее колонн. На третьем этаже в мезонине была домовая церковь Св. Владимира. Отделка ее сохранилась с конца XVIII века. На первом этаже был грот, внутри облицованный кораллом. Второй этаж сохранял отделку Бове, немного переделанную в конце XIX века.

С детьми графа Орлова занимался бывший у них домашним учителем В. Кюхельбекер, в доме жил крепостной Орлова, композитор А. Гурилев. Потом дом перешел к дочери Орлова Софье Владимировне Паниной, после нее и до 1917 года им владели князья Мещерские: дочь Софьи Паниной Мария, вышедшая замуж за князя Н. Мещерского, внука Н. Карамзина, и их потомки. В 1860 году тут скончался декабрист С. Трубецкой.

С 1934 по 1970 год в здании размещался исторический факультет Московского университета. Потом издательство Московского университета, которое делит его теперь с престижными ресторанами.