Старинная усадьба, давшая имя улице. Во второй половине XVII века в глубине двора были построены палаты князей Волконских. В XVIII веке за ними проходил переулок. Перепад рельефа улицы и переулка был таков, что первый этаж фасада палат по переулку закрыт землей. Стены и своды подклета выложены из белого камня, а основной этаж из орленого кирпича.

В середине XVIII века в палатах помещался питейный дом «Волхонка». В 1788 г. здание вновь стало жилым. По линии Волхонки был выстроен еще один дом, соединенный с палатами торцевым корпусом. Он получил классический фасад с фронтоном по центру над тремя окнами с полукруглыми сандриками. На рубеже XVIII-XIX веков владение принадлежало московскому вице-губернатору Ефиму Ефимовичу Ринкевичу. В 1802 г. здесь родился его сын Александр – декабрист, член Северного общества. В пожар 1812 г. владение очень сильно пострадало. Ринкевичу удалось получить государственную помощь в виде кирпичей с государственных заводов на восстановление усадьбы.

В середине XIX века владение перешло купцу первой гильдии, потомственному почетному гражданину и акционеру Российско-Американской компании, греку Христофору Дмитриевичу Спиридонову. В начале 1890-х годов дом снимало Общество искусства и литературы, основанное в Москве в 1888 г. К.С. Станиславским, А.Ф. Федотовым, Ф.П. Комиссаржевским и Ф.К. Сологубом.

В начале XX века домом владела Оленина Ольга Алексеевна, а в 1910-е годы усадьбу купили владельцы соседней усадьбы Волхонка, д. 10 – «Торговый дом Г. Волков с сыновьями». Гаврила Волков, основатель известного банкирского дома, был крепостным помещиков Голохвастовых. Благодаря князю Н.Б. Юсупову он получил вольную. По легенде, книгоношей Гаврила пешком пришел в Москву и, перейдя реку, присел отдохнуть на крыльце дома на Волхонке. Позднее, разбогатев, он купил два дома на Волхонке в память о начале своей московской жизни. Один из его сыновей, Петр Гаврилович Волков, состоял ответственным комиссионером и оценщиком при Московской оружейной палате. В доме располагался писчебумажный магазин, книжная лавка и женское училище.

С 1927 по 1932 год в здании находился президиум Ассоциации художников революционной России (АХРР), самой многочисленной и мощной из творческих группировок 1920-х годов, предтечи Союза художников СССР. В него входили выдающиеся художники И. Бродский, А. Архипов, Ф. Малявин и др.

В 1934 г. дом хотели снести при прокладке тоннеля для первой ветки метро. Но жильцов было сложно так быстро выселить, и дом оставили. Теперь фундаментом дома является перекрытие тоннеля метрополитена.

В 2013-14 годах дом реконструирован, там открылась вторая очередь зданий Музея личных коллекций, входящего в состав Государственного музея изобразительных искусств им. А.С. Пушкина (ГМИИ).