Этот дом построен в середине - второй половине XIX века по проекту архитектора Михаила Осиповича Лопыревского в его владении. Рядом, по адресу Калошин переулок, 12, находится собственный жилой дом архитектора, построенный им в 1850-е годы.

   По преданию, М. О. Лопыревский – побочный сын одного из князей Голицыных, воспитанный в семье титулярного советника Лопырёва. Ещё в 1820 году Михаил Осипович был зачислен в Экспедицию Кремлёвского строения подканцеляристом. С 1825 года он канцелярист, а с 1826 года – архитекторский помощник. С 1833 года М. О. Лопыревский преподаёт архитектуру в Земледельческом училище. По его проекту построено и само здание Земледельческого училища на Смоленском бульваре, 19, во дворе (впоследствии перестроено). Скончался М. О. Лопыревский в 1883 году и был похоронен на Ваганьковском кладбище. Современники отмечали, архитектора отличала необычайная скупость.

Дом на Арбате был куплен Московской городской управой специально для бесплатного родильного приюта (так называли родильные дома).

С 1941 по 1988 гг. здесь жил великий русский философ Алексей Федорович Лосев. Философ поселился в этом доме в 1941 году – после того, как в дом на Воздвиженке, где он жил до этого, попала бомба. В книге «Лосев» Аза Алибековна Тахо-Годи вспоминает: «Лосевы жили тогда очень стесненно. Отопления центрального не было, газа не было, но зато всюду лежали дрова, и не только в квартире, в подвале, очень хорошем и сухом, да еще баки с керосином для керосинок, плитки электрические вечно перегорали, их не хватало, да еще запасы картошки в передней, а между окнами зимой — сетки с продуктами…». Повсюду были и книги – те, что удалось извлечь из воронки, образовавшейся на месте дома на Воздвиженке. Аза Алибековна пишет: «Книг необозримое количество, расставляли в специально заказанные мастерам шкафы до потолка, обязательно с закрытыми стеклянными дверцами, такие, чтобы в три ряда можно было поместить. Лосев обновлял, пополнял, возобновлял вновь погибшую библиотеку». В дом на Арбат часто приходили друзья и единомышленники Алексея Федоровича и Валентины Михайловны, его первой жены. Здесь Лосев трудился над фундаментальной «Историей античной эстетики», над «Эстетикой Возрождения» и другими книгами. Лосев прожил в этом доме почти полвека, здесь он и умер в 1988 году. В начале 90-х годов в память о великом русском философе, просветителе, эстетике, выдающемся специалисте в области античной культуры дом на Арбате был объявлен памятником истории.

Наследие Лосева велико, многое осталось неопубликованным. Именно поэтому для изучения трудов философа и для научного издания его работ было создано просветительское общество «Лосевские беседы», неизменным председателем которого является доктор филологических наук Аза Алибековна Тахо-Годи, заслуженный профессор МГУ, заслуженный деятель науки РФ. Во многом благодаря ее стараниям дом удалось сохранить для научной работы и просветительской деятельности. По ее свидетельству, немало усилий потребовалось, чтобы отстоять этот дом у коммерсантов, отреставрировать старинный особняк и дождаться постановления правительства Москвы о создании государственного учреждения культуры «Дом А.Ф. Лосева».

История создания этого учреждения началась 20 лет назад, когда КПО «Лосевские беседы» обратилось в префектуру ЦАО с предложением реконструировать дом на Старом Арбате и создать на его основе «Дом Лосева» — Центр истории русской философской мысли. В декабре 2000 г. была учреждена Библиотека истории русской философии и культуры «Дом А.Ф. Лосева», на третьем этаже которой расположена мемориальная книжная коллекция А.Ф. Лосева и А.А. Тахо-Годи. Библиотека была создана на основании постановления Правительства Москвы от 15.06.99 г. № 542, постановления Правительства Москвы от 26.12.2000 г. № 1012 и приказа Комитета по культуре г. Москвы от 26.01.2001 г. № 22 «О создании государственного учреждения культуры Библиотека истории русской философии и культуры «Дом А.Ф. Лосева».