Родился 11 февраля 1964 года в селе Кривцово-Плота Должанского района Орловской области. После прохождения срочной службы в пограничных войсках начал службу участковым инспектором в Должанском районном отделе внутренних дел.
Как вспоминал сам Анатолий Якунин, отвечая в 2013 году на вопросы юных читателей газеты «Metro Москва», первого преступника он задержал в 1985 году, на третьем месяце своей работы в органах внутренних дел, когда с напарником патрулировал улицу на автомобиле и после длительной погони за подозрительным грузовиком задержал водителя, в кузове грузовика которого были обнаружены 5 тонн зерна, похищенного с элеватора.
В дальнейшем продолжил службу в Орловской области, последовательно занимая должности начальника отдела внутренних дел, начальника управления по борьбе с организованной преступностью и первого заместителя начальника УВД — начальника криминальной милиции УВД по Орловской области. В 2008 году перешел на службу в Воронежскую область, где служил в должности первого заместителя начальника — начальника криминальной милиции ГУВД по Воронежской области.
Указом Президента Российской Федерации № 1260 от 10 ноября 2009 года Анатолию Якунину присвоено звание генерал-майор милиции.
В июне 2010 года возглавил УМВД России по Новгородской области. За два года его службы на этой должности был проведён целый ряд успешных мероприятий — деятельность Якунина на этом посту положительно характеризовалась как представителями исполнительной власти региона, так и простыми гражданами. После переаттестации, проведённой в рамках реформы органов внутренних дел, Якунину было присвоено специальное звание генерал-майор полиции.
2 июня 2012 года назначен начальником Главного управления МВД России по г. Москве.
Комментируя возбуждение уголовных дел в отношении певца Витаса в июне 2013 года (согласно сообщению РИА «Новости»: за рулем внедорожника «Infiniti» сбил девушку на велосипеде, угрожал свидетелям, сопротивлялся правоохранителям), Якунин заявил, что «перед законом все должны быть равны», и тогда «всем будет в нашей стране хорошо жить».
23 сентября 2016 года освобождён от должности начальника Главного управления Министерства внутренних дел Российской Федерации по г. Москве и назначен начальником Оперативного управления Министерства внутренних дел Российской Федерации, его начальником стал генерал Аркадий Гостев.
В мае 2019 года покинул должность начальника Оперативного управления МВД России, в ноябре этого же года стал помощником директора Федеральной службы исполнения наказаний. 3 августа 2020 года назначен на должность заместителя директора Федеральной службы исполнения наказаний. Указом Президента Российской Федерации от 3 августа 2020 года № 489 Якунину также было присвоено специальное звание «генерал-лейтенант внутренней службы». 28 декабря 2021 года указом президента России Владимира Путина был освобождён от занимаемой должности.
Женат, имеет дочь Екатерину.