Здание построено в начале XX века на месте Колымажного двора специально для Музея изящных искусств им. императора Александра III при Московском университете.

Идея создания художественно-образовательного и общедоступного музея принадлежала профессору Московского университета и директору Румянцевского музея И.В. Цветаеву. Новый музей должен был представлять собой наглядное пособие для изучения архитектуры, скульптуры и прочих искусств Европы и Востока.

В 1896 г. был назначен конкурс на здание музея. По условиям конкурса, здание должно было быть построено в стиле античного храма или дома эпохи Возрождения. Заказ на строительство получил молодой архитектор Р. Клейн.

Музей строился по последнему слову инженерной мысли. Стеклянная крыша обеспечивала достаточно освещения в залах второго этажа. Здание было оборудовано электричеством и системой вентиляции.

Внутренняя структура Музея полностью отвечала задачам, которые возлагали на него создатели. Анфилада второго этажа демонстрировала древнегреческую скульптуру, развитие античного искусства. Остальные залы были отданы экспонатам Древнего Египта, Ассирии, эпохи Итальянского и Северного Возрождения. В Музее действовала библиотека, для лекций была предусмотрена аудитория с отдельным входом из Колымажного переулка.

В Музее были собраны копии и слепки, выполненные в лучших мастерских Европы с известных оригиналов, полностью сохраняя их масштаб. Жемчужиной музейного собрания стала коллекция оригинальных предметов древнеегипетского искусства В.С. Голенищева.

К строительству и оформлению Музея были привлечены выдающиеся художники и дизайнеры начала XX в.: П.В. Жуковский, А.Я. Головин, И.И. Нивинский, К.П. Степанов. За строительством наблюдал инженер И.И. Рерберг.

Музей строился на личные пожертвования меценатов. Среди них члены царской фамилии, Морозовы, Юсуповы, Поляковы, Солдатенковы и др. Экспонаты также приобретались на деньги жертвователей. Однако главным дарителем на протяжении всех лет строительства был крупный промышленник и благотворитель Ю. Нечаев-Мальцев.

Музей был открыт в 1912 г. Его директором стал И.В. Цветаев. С первых дней работы Музея была развернута экскурсионная и лекционная программы. Эта традиция сохраняется и сегодня.

 После Октябрьской революции 1917 г. имя императора Александра III убрали из названия. В 1923 г. сюда было решено поместить коллекции западной живописи из Румянцевского музея и частных коллекций. Музей был перепланирован, с сохранением внутренней структуры помещений и части постоянной экспозиции, собранной Цветаевым.

В 1937 году музею было присвоено имя А.С. Пушкина.

Сейчас это главное здание комплекса Государственного музея изобразительных искусств им. А.С. Пушкина.