Улица названа Николоямской по находившейся в этой местности с начала XVII века церкви святителя Николая Чудотворца, «что в Ямах». Ее поставили ямщики Рогожской ямской слободы. В 1959 году она была уничтожена. Но этот храм наверняка «помнит» его современник – нынешний главный дом усадьбы Скороспелова.

Краеведы всегда обращали внимание на необычное расположение дома: в глубине двора, боком к красной линии улицы, что уже свидетельствует о древности сооружения. И действительно, в нынешней средней части Главного дома сохранились два помещения рубежа XVII–XVIII веков: белокаменная палата с кирпичным сводом и примыкающие к ней сени с внутристенной лестницей на второй этаж (от последнего сохранились лишь незначительные фрагменты стен).

Так что здание представляет собой «слоеный пирог» строений от XVII в. до XIX в.: каждый новый хозяин вносил свою лепту в архитектурный облик ансамбля.

Существенные перестройки были сделаны в середине XVIII в. богатым купцом С.П.Васильевым – тем самым, на чьи средства была возведена колокольня Андроникова монастыря. При нем к правому торцу дома пристраиваются еще две палаты и, видимо, надстраивается второй этаж. В это время дом был похож на соседний – нынешний № 49: компактный кубический объем с рустованным первым этажом, нарядные барочные наличники и пилястры с резными белокаменными капителями, а также белокаменная межэтажная тяга и тяжелый сложный карниз.

Позднее усадьба переходит к купцу П.Я.Пищальникову, владельцу соседнего участка № 53. Он заменяет древние службы каменными флигелями, а также переделывает фасад дома в строгих и скупых классических формах. Современный вид дом приобретает при купце А.А.Скороспелове — он в начале 1870-х гг. пристраивает к левому торцу парадные лестницу и вестибюль (в тамбуре левой двери на полу выложено мозаикой «1871» — очевидно, дата окончания строительства), а также ставит по линии улицы чугунную ограду. Следы многочисленных переделок можно видеть и в интерьерах: реставраторы сохранили фрагменты, когда-то украшавшие фасады — барочный и псевдоготический наличники. Сохраняются следы позднего убранства дома — мраморные камины и подоконники, лепные карнизы, живописные плафоны потолков, дубовые двери. 

Ныне здание занимает Сейсмологический центр института геоэкологии РАН.