Окончил Пензенский государственный сельскохозяйственный институт по специальности «ученый-агроном» в 1961 году.
Аспирантуру АОН при ЦК КПСС в 1982 году.
С 1967 по 1974 год — первый секретарь Колышлейского райкома КПСС. С 1974 года — заведующий отделом организационно-партийной работы Пензенского обкома КПСС.
С 1982 года работал в аппарате ЦК КПСС: инструктор, помощник заведующего отделом организационно-партийной работы.
2 декабря 1986 года избран вторым секретарем и членом бюро Пензенского обкома КПСС.
С октября 1989 года по октябрь 1991 года был председателем Пензенского облисполкома. После роспуска Пензенского обкома КПСС и отстранения от власти первого секретаря обкома
Бориса Зубкова в августе 1991 года, стал фактическим руководителем Пензенской области. Утратил полномочия в октябре 1991 года, в связи с назначением Главой администрации Пензенской области
Александра Кондратьева, указом Президента РСФСР Бориса Ельцина.
В 1990 году избран народным депутатом РСФСР, входил во фракцию «Родина», работал на постоянной основе в Верховном Совете РФ в составе Конституционной комиссии.
В апреле 1993 года был избран главой Администрации Пензенской области, получив 70 процентов голосов избирателей. В декабре 1993 года был избран в Совет Федерации, с января 1996 года по апрель 1998 года входил в состав Совета Федерации по должности, был членом Комитета по делам Федерации, Федеративному договору и региональной политике, членом Мандатной комиссии.
В апреле 1998 года проиграл губернаторские выборы главе администрации Железнодорожного района г. Пензы
Василию Бочкарёву и депутату Государственной Думы РФ
Юрию Лыжину (КПРФ), заняв третье место.
В 1999 году пытался выставить свою кандидатуру в депутаты Государственной Думы РФ от Пензенской области, но не сумел собрать необходимое количество подписей избирателей в поддержку своего выдвижения.
Анатолий Ковлягин, скоропостижно скончавшийся на 72 году жизни , 3 октября 2009, похоронен на Аллее Славы Ново-Западного кладбища Пензы в понедельник, 5 октября 2009. Бывшего руководителя Пензенской области, имевшего почетные звания и государственные награды, проводили в последний путь оружейными залпами. Проститься с Анатолием Ковлягиным пришли тысячи человек.
