Політична кар’єра Анатолія Гриценко почалася в 2002 році,коли він став нардепом від "Нашої України".
В 2004 році Гриценко увійшов до центрального виборчого штабу кандидата в президенти Ющенка. Після перемоги останнього на виборах, Гриценко був призначений міністром оборони в уряді Тимошенко. Потім керував військовим відомством в Кабміні Юрія Єханурова. 4 серпня 2006 призначений головою Міноборони в уряді Януковича за квотою президента Ющенка.
Наприкінці 2006 року українська громадськість стала свідком конфлікту між Гриценком та Генеральною прокуратурою на чолі з Олександром Медведьком. Міністр оборони звинувачувався Рахунковою палатою в незадовільних темпах утилізації боєприпасів. ГПУ розкритикувала його відомство за неефективну боротьбу з корупцією і злочинністю в армії. Також контрольно-ревізійне управління заявляло про порушення, пов'язані з будівництвом житла для військових, господарською діяльністю у військових містечках і відчуженням земельних ділянок - нецільовим чином нібито були витрачені 6,6 мільярда гривень. Однак, ці "наїзди" були зумовлені швидше політичним протистоянням між Ющенком та Януковичем.
Не відомо чим би закінчилося це протистояння, але на позачергових парламентських виборах 2007 року Гриценко пройшов у Верховну раду під № 4 пропрезидентського блоку «Наша Україна - Народна самооборона».
Гриценко розраховував, що Ющенко його залишить міністром оборони, але Віктор Андрійович вирішив, що на цій посаді в другому уряді Юлії Тимошенко йому корисніший буде Юрій Єхануров, який, по суті, мав бути "смотрящим". Цих складних розкладів Гриценко не зрозумів і образився, а тому одразу почав різко критикувати Ющенка, який, як виявилося, взагалі не цікавився долею армії. Поки в партії "Наша Україна" буде лідером Віктор Ющенко, все буде множитися на нуль, заявляв Гриценко в ефірі "5 каналу". Чому цього Гриценко не розумів до своєї віставки він не пояснював. Гриценко почав позиціонувати себе як третю силу і в 2009 році на президентських перегонах змагався з Яценюком і критикував Тимошенко.
У жовтні 2009 року ЦВК зареєструвала Гриценка кандидатом у президенти країни. «Є завдання-максимум - вийти в другий тур, завдання-мінімум - отримати гідний результат» , - заявляв політик. У першому турі він посів дев'яте місце, набравши 1,2 % голосів виборців, що в абсолютних цифрах складало 296 412 чоловік.
Наприкінці 2012-го, по закінченню депутатської каденції, перед Анатолієм Степановичем замаячив привид політичного небуття. В об'єднаній опозиції "Батьківщина" Яценюка та Тимошенко вирішили, що краще взяти Гриценка в списки, ніж втратити разом з ним 1% - 1,5%. І Анатолій Степанович посів третє місце після Юлії Тимошенко, яка не була допущена до виборів, і самим Арсенієм Петровичем. Після оголошення попередніх підсумків Гриценко звернувся до соратників із закликом відмовитися від місць у Верховній Раді у зв'язку з фальсифікаціями результатів голосування. Проте у результаті склав присягу і став членом парламентського комітету з питань боротьби з організованою злочинністю і корупцією. Правда, в Раді Гриценко зайнявся, насамперед, тролінгом власних соратників, кульмінацією чого стала його поведінка під час Майдану.
13 січня 2014 року посилаючись на «критичні висловлювання Гриценка на адресу Майдану, неспроможність до командної роботи та участь в інформаційних війнах проти власної фракції» народні депутати від ВО «Батьківщина» відмовилися проводити засідання фракції в присутності Анатолія Гриценка. «Він повернувся після свят (вихідні нардеп провів з сім'єю за кордоном), постояв кілька годин на Майдані і почав робити висновки, критикуючи все і всіх. Ну, взяв би поставив свій намет на Майдані, вивів би свою сім'ю, помічників, пожив би там тиждень і тоді мав би повне моральне право критикувати», - заявляв нардеп Павловський.
Наступного дня Гриценко написав заяву про вихід з фракції. Коментуючи її Яценюк зазначив, що тепер фракція очікує від Гриценка складання депутатських повноважень. Олександра Кужель досить категорично висловилася про вихід з фракції Анатолія Гриценка. «Баба з возу - кобилі легше. Ми рік молилися, щоб Гриценко пішов! Навмисно прийняли рішення не виключати, всі чекали, коли сам зрозуміє». На її думку, у Гриценка за весь час його перебування в політиці так і не з'явилося друзів. «Про себе я скажу так: якщо я з чимось не згодна, віддаю перевагу боротися сама. Іду до місця подій, збираю людей. Але не даю завдань, а сама вирішую проблеми. Гриценко був відсутній три тижні, поки ми відбивали атаки «Беркуту». Це удар по всій фракції. Своє ставлення я висловила йому в очі: «Анатолій, а ви не задавалися питанням, чому за стільки років у політиці у вас жодного друга з політичного оточення? У Гриценка один товариш - його дружина. До нього ніхто спиною не повертається - всі бояться отримати ніж», - вважає Кужель.
17 січня 2014 року Гриценко заявив, що складає депутатські повноваження, оскільки не може «працювати у Верховній Раді, яка своїми законами порушує базові конституційні права 45 мільйонів громадян і замість зміцнення демократії та верховенства права перетворює Українську державу в диктатуру». Однак, Анатолій Степанович і донині є народним депутатом.
21 березня 2014 Анатолій Гриценко звернувся до Юлії Тимошенко з проханням посприяти його призначенню на посаду верховного головнокомандувача України. Виконуючий обов'язки президента України Турчинов не справляється з обов'язками Головнокомандувача і тому його треба відсторонити, заявив Гриценко в ефірі «Шустер LIVE».
В «Батьківщині» заклик Гриценка до в. о. президента піти у відставку назвали «роботою на користь агрессора». «Пан Гриценко закликає зробити вчинок, однак сам виявився нездатним на це у надзвичайно критичний для Майдану час. Коли на початку Майдану Штаб національного опору запропонував Гриценку, як військовій людині, полковнику та екс-міністру оборони сформувати і повести за собою загони Самооборони Майдану - він просто зник у невідомому напрямку, злякано ховаючись від відповідальності», - сказано в заяві. «Останньою краплею терпіння для фракції «Батьківщина» стало те, що Гриценко дозволив собі відбути на відпочинок і два тижні кататися на лижах в той час, як злочинна влада не припиняла спроб зачистити Майдан, викрадаючи, катуючи і калічачи протестуючих».
Кілька днів тому Генеральна прокуратура України порушила кримінальну справу, фігурантом якої є Анатолій Гриценко. Йдеться про законність реалізації озброєння в час, коли Міноборони керував саме Гриценко. «У тому числі комплексів БУК М-1 і С-300, які невідомо куди зникли. Також зникли 1000 одиниць ПЗРК "Стріла", "Стріла- 2", "Стріла-М" і "Голка", що базувалися в Шостці». Анатолій Гриценко відповів, що рішення про реалізацію зазначеного майна було прийнято тодішнім президентом України Віктором Ющенком, а він був проти цього.
На виборах-2014 Анатолій Гриценко посів 4 позицію з 5,48% голосів.