Родился 22 декабря 1855 (3 января 1856) года в Санкт-Петербурге. Его отец, Григорий Григорьевич Гагарин, — известный художник-любитель, обер-гофмейстер двора Его Императорского Величества, вице-президент Императорской Академии художеств. Мать — Софья Андреевна, урождённая Дашкова, фрейлина при дворе императрицы Александры Федоровны, позднее — статс-дама при императрице Марии Федоровне. Крещен 18 января 1856 года в Придворном соборе при восприемстве императрицы Александры Фёдоровны.

28 июля 1885 года А. Г. Гагарин женился на княжне Марии Дмитриевне (1864—1946), дочери статс-секретаря и действительного тайного советника князя Д. А. Оболенского.

У Андрея Григорьевича и Марии Дмитриевны были дети: сыновья — Андрей (1886—1937), Сергей (1887—1941), Лев (1888—1921), Дмитрий (09.12.1893; Париж — ?), Григорий (1896—1963), Пётр (1904—1938) — и дочери Софья (1892—1979; фрейлина; в браке за Н. Н. Ростковским) и Анастасия (26.02.1902—27.02.1902; родилась шестимесячной). После событий 1917-го года жизнь семьи радикально изменилась.

Андрей Григорьевич в октябре 1918 года на пути в Холомки был арестован. Вслед за этим через несколько дней арестовали и Марию Дмитриевну. Благодаря содействию Экспериментального института Андрей Григорьевич был освобождён относительно быстро, а Мария Дмитриевна провела несколько месяцев сначала в Порховской, а затем в Бутырской тюрьме. На свободу вышла на свободу после ходатайства об этом М. Горького.

Поместье Холомки в 1918 году было национализировано. Петербургскую квартиру Гагариных, когда те находились под арестом, вскрыли и разгромили. Позже Мария Дмитриевна вспоминала о том, как Андрей Григорьевич, принося ей в тюрьму передачи, несмотря на сильные морозы, приходил одетым в летнее пальто с полотенцем на шее вместо шарфа, поскольку все зимние вещи пропали во время погрома квартиры.

Преследования и невзгоды обрушились и на младшее поколение семьи Гагариных. В 1918 году в Холомках арестовали Григория. Он был приговорён к расстрелу, но смог бежать и в дальнейшем эмигрировал в США. Там же в результате различных событий и в разное время оказались Сергей и Софья. Лев через Крым ухал из России, но вскоре умер в окрестностях Константинополя от тифа. Андрей и Пётр остались в России, и оба были арестованы и расстреляны: Андрей — в июле 1937 года, Пётр — в январе 1938 года.

После смерти мужа Мария Дмитриевна жила в Холомках, но в 1925 году местные власти приняли решение о выселении её из пределов губернии, и она в том же году вместе с дочерью уехала в Ленинград. В 1934 году эмигрировала, отъезд стал возможен только после того, как её сыновья собрали и заплатили требовавшуюся в те годы за получение разрешения на выезд сумму в размере 3 000 долларов США. Оставила после себя воспоминания о муже, опубликованные в 2006 году. Её рукописный дневник, описывающий события времён революции, был выкуплен из частной коллекции губернатором Псковской области А. А. Турчаком, в 2012 году началась публикация дневника в газете «Псковская правда Вече».

Обучался в частном пансионе, в 1869 году поступил в четвёртый класс Ларинской гимназии, по окончании которой в 1874 году поступил на физико-математический факультет Петербургского университета.

Летом 1876 года, после второго курса, совершил путешествие в Северную Америку, где изучал металлургию на рудниках Скалистых гор.

Университет А. Г. Гагарин окончил в 1878 году. В 1879 году за диссертацию «Удобнейший способ предварительного вычисления солнечных затмений и подобных явлений с предвычислением полного затмения 1887 года» ему были присуждены учёная степень кандидата наук и большая серебряная медаль.

По окончании университета служил вольноопределяющимся в гвардейской конной артиллерии, после чего выдержал экзамен на офицерский чин и в 1884 году окончил Михайловскую артиллерийскую академию по первому разряду. В годы учёбы в академии А. Г. Гагарин опубликовал статью и две брошюры: «О некоторых сочленениях» и «О круговой линейке». Тогда же в Артиллерийском журнале была напечатана его диссертационная работа, посвященная вопросу о наивыгоднейшей нарезке орудий.

С конца 1884 года служил в Петербургском арсенале. С учреждением при арсенале механической лаборатории А. Г. Гагарин занялся работами по испытанию материалов. Заведуя механической лабораторией арсенала, изобрёл и сконструировал электрическое приспособление для автоматического уравновешивания усилий в разрывной машине Мора и Федергарда. Позднее эти приборы нашли своё применение в санкт-петербургском, киевском и брянском арсеналах; на тульском, сестрорецком и ижевском оружейных заводах, а также на санкт-петербургском патронном заводе.

Тогда же начал работу над крешерным прессом. Впоследствии прибор приобрёл широкую известность и распространение и получил название «пресс Гагарина».

В 1885 году находился в 11-месячном отпуске, во время которого жил в Москве, где на принадлежащем семье участке руководил строительством дома, известного теперь как доходный дом князя А. Г. Гагарина на улице Кузнецкий Мост.

В 1896 году на Всероссийской промышленной выставке в Нижнем Новгороде за свой пресс Гагарин получил золотую медаль. Другое его изобретение — «круговая линейка Гагарина» — было удостоено золотой медали на Парижской Всемирной выставке 1900 года.

В 1891 году командирован во Францию в город Шательро, где в течение четырёх лет работал в составе комиссии по приёмке пятисот тысяч винтовок Мосина, изготавливавшихся на местном оружейном заводе по заказу российского правительства.

С 1895 по 1900 год А. Г. Гагарин был помощником начальника Санкт-Петербургского орудийного завода, на этом посту способствовал значительному увеличению производства на заводе.

7 января 1900 года по инициативе и представлению министра финансов С. Ю. Витте А. Г. Гагарин был назначен директором создаваемого в то время Петербургского политехнического института. Основные задачи, которые решал вновь назначенный директор на первом этапе своей деятельности, состояли в выработке положения об институте, постановке преподавания и подыскании и подготовке профессорского персонала. Во многом благодаря стараниям директора в институт пришли преподавать известные ученые и педагоги, среди которых были профессора К. П. Боклевский, И. А. Мещерский, А. С. Посников, Н. А. Меншуткин, М. А. Шателен, В. В. Скобельцын, И. М. Гревс, Н. И. Кареев, М. М. Ковалевский, Ю. С. Гамбаров и другие.

Вместе с этим 18 января 1900 года А. Г. Гагарин стал председателем Особой строительной комиссии, осуществлявшей руководство сооружением учебного городка для будущего политехнического института. В марте 1900 года вместе с главным архитектором Э. Ф. Виррихом во время длившейся в течение месяца командировки осмотрел 37 вузов Европы и изучил постановку учебного процесса в них. Всё наиболее ценное, из почерпнутого за границей, А. Г. Гагарин в дальнейшем использовал в Политехническом институте. Здания института были построены менее чем за 2,5 года.

1 октября 1902 года состоялось торжественное открытие Политехнического института. За работу по созданию института «в воздаяние отлично-усердной и ревностной службы» указом императора А. Г. Гагарин в апреле 1903 года был награждён орденом Святого Равноапостольного Князя Владимира четвёртой степени.

С самого начала организации института по многим вопросам его жизни А. Г. Гагарин занимал независимую позицию, опиравшуюся на мнение Совета института, и во многих случаях расходившуюся с взглядами правительственных кругов. Так, в феврале 1902 года совещание директора и деканов отвергло мотивированное необходимостью уменьшения опасности студенческих волнений предложение министра финансов организовать политехнический институт по образцу военно-учебных заведений и ввести в нём военную инспекцию.

В дальнейшем в период нарастания революционной ситуации и распространения в студенческой среде революционных настроений противоречия между директором института и правительственными чиновниками обострялись, приобретая иногда характер конфронтации. Так, в ноябре 1904 года министр финансов В. Н. Коковцев открыто обвинил А. Г. Гагарина в бездействии.

В 1905 году обстановка продолжала накаляться и 14 октября институт получил указание о его закрытии, однако совет института во главе со своим председателем выполнить приказ министра отказался. Далее А. Г. Гагарин неоднократно вступал в конфликты с правительственными и полицейскими чиновниками по поводу требовавшегося ими от него принятия мер по прекращению и предотвращению незаконных действий различного рода, совершавшихся в стенах института.

Критические для А. Г. Гагарина, как директора института, события произошли в 1907 году. 18 февраля в общежитиях института был произведён обыск, во время которого полиция задержала 20 посторонних лиц, большинство из которых, по мнению полиции, находилось на нелегальном положении. Одновременно было обнаружено «одиннадцать начинённых бомб, значительное количество изданий партии социалистов-революционеров, печать „Рабочего Комитета Выборгской стороны партии социалистов-революционеров“, несколько пачек динамита, два куска бикфордова шнура, коробка с сотней капсюлей для запала, девять винтовок и одна пироксилиновая шашка».

28 февраля министр торговли и промышленности Д. А. Философов, в подчинении которого находился институт, своим письмом сообщил А. Г. Гагарину о том, что причины происшедшего видит в неисполнении тем служебного долга и передаёт дело судебному следователю. В тот же день своим вторым письмом министр известил А. Г. Гагарина о том, что получено «ВЫСОЧАЙШЕЕ повеление о немедленном увольнении Вас от службы».

Совет и студенты Политехнического института единодушно встали на сторону А. Г. Гагарина. В частности, Совет 4 марта единогласно выдвинул его кандидатом на должность директора, а 21 марта так же единогласно проголосовал за избрание его Почётным членом института. Студенты выразили ему свою признательность и поддержку, преподнеся ему адрес с более, чем 900 подписями.

Следствие по делу велось в течение двух лет. Суд, состоявшийся в Сенате в апреле 1909 года, признал А. Г. Гагарина виновным в «противозаконном бездействии власти» и приговорил его к наказанию в виде лишения права в течение трёх лет поступать на государственную и общественную службу. Такое наказание представляло собой минимальную санкцию, предусмотренную вменявшейся А. Г. Гагарину статьёй.

В 1911 году А. Г. Гагарин стал одним из организаторов Русского общества испытания материалов. В 1913 г. в политехническом институте защитил диссертацию «Приборы, дающие зависимость между усилиями и деформациями во время удара» и получил звание адъюнкта прикладной механики с правом на кафедру. Кроме того, Гагарин поместил ряд статей по математике и механике в специальных изданиях.

В тот же период времени в Порховском уезде Псковской губернии в живописном месте на берегу Шелони приобрёл участок земли площадью 96 десятин и построил на нём дом, проект которого составил архитектор И. А. Фомин. Имение получило наименование «Холомки».

Отношения А. Г. Гагарина с проживавшим вокруг имения населением складывались не всегда гладко. Крестьяне собирали в принадлежащих князю лесах грибы и ягоды, запускали на земли имения своих коров и лошадей. Он же требовал с них штраф за потраву, задерживал скот и наказывал крестьянских детей. В ответ крестьяне «дважды избивали князя, один раз с переломом ноги».

Во время Первой мировой войны вновь на военной службе. Исполнял должность постоянного члена Технического артиллерийского комитета по отделу оптики (1914—1917). В этом качестве участвовал в организации первого в России производства оптического стекла в Петербурге и основании завода оптических стёкол в городе Изюме Харьковской губернии. В 1916 году был назначен правительственным инспектором деятельности Путиловского завода.

С началом войны в половине дома в имении «Холомки» основал госпиталь на 15 коек и содержал его на свои средства в течение всей войны.

После 1917 работал в Москве, занимая должность старшего конструктора в Научно-экспериментальном институте при Наркомате путей сообщения, оставался на этой должности до конца своей жизни. Из-за тяжёлых условий жизни в Москве в 1920 году через Л. Б. Каменева обратился в Совнарком с просьбой разрешить ему жить в Холомках, приезжая в Москву для сдачи готовых проектов. Разрешение за личной подписью В. И. Ленина было дано, и А. Г. Гагарин вернулся к семье в Холомки. Там же он вёл преподавание математики и физики в Псковском сельскохозяйственном техникуме и выполнял некоторые проектные работы для местного исполкома.

Умер А. Г. Гагарин 22 декабря 1920 года, в возрасте 65 лет, после сложной операции в Порховской больнице. Похоронен на кладбище Храма Вознесения Господня в дер. Бельское Устье.