На службе в органах внутренних дел с сентября 1982 года по направлению трудового коллектива Пензенского производственного объединения «Эра». В течение шести лет работал инструктором УВД по воспитательной работе, в августе 1988 года был выдвинут в аппарат управления исправительно-трудовых учреждений.
В июле 1991 года назначен командиром вновь созданного отряда специального назначения «
Фобос
» Управления исполнения наказаний УВД
Пензенской области
. Сослуживцами характеризовался как человек, фанатично относившийся к долгу.
17 июня 1994 года при освобождении
заложников в колонии ЯК 7/5
получил тяжёлые ранения. 21 июня он скончался в госпитале.
Указом Президента Российской Федерации от 25 ноября 1994 года № 2118 за проявленные мужество и героизм майору внутренней службы Сергееву Александру Алексеевичу присвоено звание
Героя Российской Федерации
посмертно.
В 1996 году на могиле Героя на Аллее славы
Новозападного кладбища
г. Пензе был открыт памятник работы скульптора
.
В 1995 году школе № 23 города Пензы присвоено имя Героя, в 1998 году на здании школы была установлена мемориальная доска А. А. Сергееву работы скульптора А. С. Кныша.
В 2001 году в учебном центре уголовно-исполнительной системы на базе исправительной колонии № 5 открыт бюст А. А. Сергея (скульптор — А. С. Кныш) и создан мемориальный музей. После закрытия учебного центра, в 2014 году памятник был перенесён на территорию Управления
ФСИН
России по Пензенской области (г. Пенза, Автоматный переулок, 5) и открыт заново. Там он находится и в настоящее время. Мемориальный музей А. А. Сергеева находится в здании Управления
ФСИН
России по Пензенской области.
В 2014 году имя А. А. Сергеева было присвоено одной из улиц г. Пензы в микрорайоне новой застройки «Заря». Она называется «Улица Героя России Сергеева».
В 2014 году на здании бывшего Приборостроительного техникума г. Пензы, в котором А. А. Сергеев обучался в 1970—1974 годах, была открыта мемориальная доска Герою.
Мемориальные объекты, посвящённые Герою России А. А. Сергееву на территории г. Пензы