Павильон был построен в 1940 году архитекторами М.З. Краевским и Ф.Я. Бялостоцкой на окраине тогдашней Всесоюзной сельскохозяйственной выставки (ВСХВ). Открытый как павильон МОПР – Международной организации помощи революционерам, после присоединения к СССР прибалтийских республик, он был передан им, получив в 1941 году название «Литовская ССР, Латвийская ССР и Эстонская ССР». В тот год ВСХВ проработала чуть больше месяца в связи с началом Отечественной войны и закрылась до 1954 года. К открытию в 1954 году прибалтийские республики получили каждая свой павильон, а здесь разместилась «Физическая культура и спорт».

Многогранная в плане постройка увенчана внушительным пятигранником, служившим постаментом для крупной скульптурной группы атлетов с флагами (демонтирована в 1960-е годы). Первоначально главный фасад украшал барельеф с профилями Маркса, Энгельса, Ленина и Сталина, но в 1956 году его заменили барельефом со знаком ГТО («Готов к труду и обороне»). На боковом фасаде сохранилась мраморная доска с изречением М.И. Калинина о значении спорта в жизни «уверенно смотрящего вперёд человека». На крыше сохраняются небольшие изящные фонари, если их отремонтировать, павильон получит оригинальную подсветку. Значок ГТО с фигурой атлета является основным мотивом внешнего декора, а напротив павильона сохранились две скульптуры альпинистов авторства скульптора и одновременно мастера спорта СССР Евгения Абалакова. Ввиду плохого технического состояния в последние годы скульптуры накрыты коробами. Многие годы в павильоне демонстрировались награды советских спортсменов, но последние двадцать лет он пустует и ветшает. При этом по яркости архитектурного решения эта постройка заслуживает статуса объекта культурного наследия, в случае проведения ее научной реставрации на Выставку вернется один из ее ярких акцентов.