С 1770 г. в здании располагался Московский Архив Коллегии Иностранных дел, в котором служили А.К. Толстой, В.Ф. Одоевский, Н.П. Огарев и многие другие "архивные юноши", оставившие яркий след в русской культуре. Для архива здание приобрел русский историк, академик Г.Ф. Миллер. В 1783 г. должность управляющего архивом занял Н.Н. Бантыш-Каменский, посвятивший архивной службе 52 года своей жизни. Составленные им и его сотрудниками описи до сих пор используются исследователями Российского государственного архива древних актов, в состав которого в XX в. вошли документы Московского Архива Коллегии Иностранных дел.

Долгое время архивом заведовал дипломат и историк А.Ф. Малиновский, брат директора Царскосельского лицея, друг Пушкиных. Александр Сергеевич Пушкин не раз бывал здесь в поисках материалов, необходимых для написания "Истории Пугачевского бунта". Николай Михайлович Карамзин изучал старинные документы и рукописи при создании фундаментального труда "История государства Российского".

В 1808 г. здание было перестроено по проекту архитектора Ф.К. Соколова, примерно в это же время была создана Комиссия печатания государственных грамот и договоров, где трудились специалисты в области древностей, известные филологи и историки.

Во время войны 1812 г. наиболее ценные документы и ряд служащих были эвакуированы в Нижний Новгород, но в архиве все равно оставалось еще огромное количество важных документов и библиотека, многие служащие также остались здесь со своими семьями. 5 сентября архив был частично разорен и разграблен наполеоновскими солдатами, однако уже через год продолжил свою работу.

Спустя некоторое время здание перестало вмещать в себя накопленные документы, и архив был расформирован по разным местам, в том числе в Оружейную палату.

В конце XIX в. после окончательного переезда архива здание поступило в собственность Русского Музыкального общества, в нем разместились музыкальные классы Московской консерватории. В 1882 г. их сменила типография Петра Юргенсона, издателя музыкальных произведений.

П.И. Юргенсоном впервые в России были изданы полные собрания сочинений Бетховена, Шопена, других европейских композиторов. "Нотные палаты" посещали многие русские композиторы. Бывавший здесь особенно часто П.И. Чайковский писал Юргенсону: "Я ужасно люблю твой отставной архив с его феноменально толстыми стенами, с его живописным положением и характерностью".

В 1918 году фирма была национализирована и продолжила работу как подразделение Музыкального отдела Наркомпроса, затем как Государственное музыкальное издательство (Музгиз), а с 1964 года как Издательство "Музыка".