Первый документально известный хозяин здания начала XIX века – купец Пётр Гиряков, упомянутый как владелец участка в 1804 году. Позже, в 1828 году дом нанял Михаил Семёнович Щепкин – известный артист Малого театра. Надолго он, впрочем, в Голутвине не задержался, вскоре переехав в район Сретенки. А уже в 1829 году здание записано на имя «купеческой жены А.С. Ребушинской» – во владении этой фамилии, ставшей позднее «Рябушинскими», оно будет находиться долгое время.

Уличный фасад дома украшен высоким портиком из четырех пилястр, поставленных на аркаду нижнего этажа, в котором сохранились своды. В целом облик здания достаточно аскетичен для своей эпохи: нет ни лепнины, ни барельефов, ни росписей – это скромный купеческий особняк, поставленный в отдалении от крупных улиц. Зато слава новых хозяев дома быстро стала распространяться по всей Империи.

Род Рябушинских ведёт своё начало от крестьянина Калужской губернии, слободы Ребушинской (от неё и произошла в будущем фамилия) Пафнутьево-Боровского монастыря Михаила Яковлева, прибывшего в 1802 году в Москву и торговавшего в Холщовом ряду Гостиного двора. Разорившийся из-за Отечественной войны 1812 года, он был вынужден перейти в мещанство, но духом не пал. В 1820 году Михаил Яковлевич перешёл в старообрядчество, к которому принадлежали многие богатейшие купеческие фамилии той эпохи. Помощь новых единоверцев помогла Михаилу Яковлевичу возвратиться в купеческое сословие и вновь начать торговлю. Тогда же он по своей родной слободе взял фамилию «Ребушинский» – позже вместо «е» будет писаться «я» и фамилия получит принятое сегодня написание. Со временем Михаил Яковлевич завёл несколько ткацких мануфактур в Москве и Калужской губернии и после своей смерти оставил наследникам сумму более 2 миллионов рублей. Именно этот капитал стал основой будущего процветания всей династии: его сын Павел Михайлович приумножил семейное богатство в десять раз, оставив своим сыновьям уже 20 миллионов рублей.

Рябушинские сдавали усадьбу в Голутвине, но при этом сохраняли её за собой вплоть до революции. В 1840-х годах арендаторами были соседи Рябушинских – купеческая династия Третьяковых, чей фамильный дом (в котором родились оба знаменитых брата – Павел и Михаил) сохранился до наших дней в соседнем переулке, возле церкви святого Николая Чудотворца в Голутвине. В конце XIX века усадьба Рябушинских была приспособлена под богадельню и столовую, которые находились в ведении Императорского Человеколюбивого общества. Для него здание было расширено, появилась пристройка со стороны двора и службы. За усадьбой возвышаются корпуса Голутвинской мануфактуры, основанной всё тем же Михаилом Яковлевичем Рябушинским, а затем проданной купцам Григорию и Алексею Истоминым.

После революции усадьба была национализирована, некоторое время в ней размещались квартиры, позднее – конторы. Сегодня дом стоит запертый и никак не используется. Между тем это могла бы быть идеальная площадка для местного музея, в которой нашлось бы место и Щепкину, и Рябушинским, и Третьяковым, и Истоминым.