На протяжении восемнадцати лет возглавлял национальную сборную СССР, которая под его руководством становилась олимпийским чемпионом 1988 года, двукратным чемпионом мира (1967, 1982) и семикратным чемпионом Европы (1961, 1963, 1965, 1967, 1969, 1979, 1981). Член Зала славы баскетбола с 1995 года и Зала славы ФИБА с 2007 года.

В эвакуации, во время Великой Отечественной войны, работал пастухом в селе Степное Челябинской области.

Окончил Высшую школу тренеров при институте Лесгафта в Ленинграде, где учился с 1945 по 1948, а также Военный институт физической культуры (1949—1952), по окончании которого получил специальность «тренер-преподаватель по спортивным играм».

Выступал за ленинградские баскетбольные команды «СКИФ» (1945—1949) и СКА (1949—1953), защитник.

Тренировал команды:

• «Спартак» (Ленинград) с 1949 по 1952.
• СКА (Рига) с 1953 и по 1966 г. Команда три раза становилась чемпионом СССР, трижды — обладателем Кубка европейских чемпионов (1958, 1959, 1960 гг.).
• ЦСКА с 1969 и по 1980, 1985 и по 1986 г. 10 побед в чемпионатах СССР, обладатель Кубка европейских чемпионов 1971.
• Сборную команду СССР по баскетболу в период с 1961 по 1970, с 1977 по 1983, с 1987 по 1988. Победы на Олимпийских играх 1988, чемпионатах мира 1967 и 1982. 7 побед на чемпионатах Европы 1961, 1963, 1965, 1967, 1969, 1979 и 1981.

В 1991—1992 А. Я. Гомельский являлся председателем Российской федерации баскетбола. В декабре 1997 года стал президентом баскетбольного клуба ЦСКА.

Полковник. Профессор, кандидат педагогических наук, мастер спорта международного класса (1965) заслуженный тренер СССР (1956), заслуженный тренер Литовской ССР (1982), заслуженный работник физической культуры России (1993), судья международной категории, четырежды (1967, 1977, 1982, 1988) был признан лучшим тренером страны.

За заслуги в развитии спорта и баскетбола награждён:

• Орденом Трудового Красного Знамени (18 октября 1982 года) — за большой вклад в развитие баскетбола в стране и успешное выступление на чемпионате мира 1982 года
• Орденом Красной Звезды
• Орденом Дружбы Народов
• Двумя орденами «Знак Почёта»
• Орденом «За заслуги» (Украина) (2003)
• Медалями.
• 16 января 1998 года за выдающиеся спортивные достижения Александр Яковлевич Гомельский был удостоен Серебряного Олимпийского ордена, который ему вручил президент Международного олимпийского комитета Хуан Антонио Самаранч.

Скончался на 78-м году жизни 16 августа 2005 года от лейкемии. Похоронен на Ваганьковском кладбище.