В середине XVII века на этом месте находилось две усадьбы, принадлежавшие представителям рода Пушкиных – бояре Григорий Григорьевич и Борис Григорьевич Пушкины были двоюродными братьями. В 1763 году владения соединились в одно, хозяином стал Александр Артемьевич Загряжский. Его внучка Наталья была матерью Натальи Николаевны Гончаровой.

В 1786 году владение у Загряжских покупает купец Петр Михайлович Гусятников – человек в XVIII веке легендарный. Богатый «именитый гражданин», т.е. представитель высшего купеческого слоя, он с компаньонами владел винным откупом в Москве и суконной, шляпной фабрикой в Кожевниках. Именно его компании мы обязаны созданием таможенной границы Москвы – Камер-Коллежского Вала. Дети и внуки Гусятникова перешли в дворянство. Потомками его являлись поэт Апполон Майков, декабрист Михаил Федорович Орлов и шеф жандармов Алексей Федорович Орлов. В старом доме Гусятникова в 1827–1828 гг. помещался известный московский пансион Кистера, в нем учился Тимофей Грановский, будущий известный историк, профессор Московского университета. Позднее, в 60-х гг. XIX в., тут находился пансион Р.И. Циммермана.

В 1857 году владение стало принадлежать петербургскому купцу Егору Михайловичу Скворцову. Он выстроил новый каменный дом. Притом молва твердила, что строил он его то ли из камней обвалившейся кремлевской стены, подряд на ремонт которой имел, то ли из камней Большого Каменного Моста. Газета «Московские губернские ведомости» сообщала в 1859 г.: «Из купленного оставшегося от разломки старого материала с добавлением нового, построен купцом Скворцовым большой доходный дом на углу Моховой, по проекту архитектора Никольского. Фасад этого здания довольно красивый, внизу – хорошие магазины; в верхних этажах квартиры различного объема». В доме находился так же Коммерческий суд, где в словесном столе (отделе) суда, там, где «более словесно, чем письменно» разбирались и улаживались спорные дела купцов, служил А.Н. Островский.

В 1899 году Российское общество страхования капиталов и доходов покупает старую усадьбу на углу Воздвиженки и Моховой улицы и сносит все старые постройки, чтобы выстроить новое здание по проекту архитектора В.В. Шауба. По мнению современников дом был выстроен в весьма сухом мюнхенском стиле «нуово». Действительно барочный декор и натуралистические изображения цветов и колосков на доме является характерным признаком немецкого модерна. А угловая башенка с куполом очень по-московски акцентирует пересечение улиц и является высокой доминантой, перекликающейся с Троицкой башней Кремля, на которую смотрит. Первый этаж с большими окнами сдавался под магазины, в остальных помещалась респектабельная гостиница «Петергоф».

Часть дома занимали дорогие квартиры. В декабре 1905 года одну из них снимали А.М. Горький с гражданской женой М.Ф. Андреевой. Серов рисовал здесь свой знаменитый портрет писателя. В 1913–1919 гг. жил известный тенор Леонид Витальевич Собинов.

После переворота 1917 г. тут сначала поместился секретариат Центрального комитета ВКПб, а потом 4-й Дом Советов, где поселились партийные чиновники разных рангов, в числе которых были А.И. Рыков, Н.А. Семашко, И.И. Скворцов-Степанов, Е.Д. Стасова. В этом доме находились многие учреждения ЦИК. Долгие годы в этом здании находилась приемная председателя Президиума Верховного Совета М.И. Калинина.

Сейчас тут со стороны Воздвиженки располагается Приемная Государственной Думы и Бизнес-центр «Деловой дом Моховая» со стороны Моховой.