В 1863 году 23-летний Алексей Горяйнов участвовал в «делах против польских мятежников», получив в бою ранение в руку. Во время русско-турецкой войны находился в «деле под Плевной» и был награжден золотой саблей с надписью «За храбрость».

С 1890 по 1895 годы Алексей Алексеевич Горяйнов управлял Пензенской губернией.

Впоследствии Алексей Алексеевич Горяйнов был избран членом Совета Министерства внутренних дел.

Награжден многими орденами, в т. ч. Св. Александра Невского

При А.А. Горяйнове в Пензе состоялись две губернские сельскохозяйственные выставки; открыты городской ломбард и приют для неимущих за рекой Пензой, первая народная публичная читальня в Конной слободе и община сестёр милосердия; начали работать земская почта и элеватор у железной дороги...

Были построены татарская мечеть и костёл, в отдельных сёлах губернии открылись Общества трезвости. Вышел первый выпуск «Сборника Пензенского губернского статистического комитета». Но, по мнению корреспондента «Ведомостей», «особенно плодотворна была деятельность А.А. Горяйнова в 1891-1892 гг., когда над Пензенской губернией разразилось ужасное бедствие - полный неурожай хлеба».
Способствовал установке второго в России памятника М.Ю. Лермонтова и созданию библиотеки имени М.Ю. Лермонтова, занимался проведением земельных реформ, вел большую благотворительную деятельность. В 1891 году он встречал в Пензе наследника цесаревича Николая Александровича.

По свидетельству современников, «за время губернаторства А.А. Горяйнову пришлось делить с населением больше горя, чем радости... В 1890 г. страшные пожары обездолили население, затем наступил голод, а потом холера.
При А.А. Горяйнове рабочие писчебумажной фабрики П.В. Сергеева провели в городе первую забастовку.

http://penzahroniki.ru/
http://www.viktur.ru/