Отец — заводской слесарь, мать — учитель физики и математики.
В школьные годы занимался волейболом и даже играл за сборную Московской области.
С 1980 по 1982 годы был актёром Московского драматического театра имени Н. В. Гоголя.
В 1982—1986 годах состоял в труппе Театра миниатюр под руководством Аркадия Райкина в Москве.
С 1986 года по настоящее время служит в труппе Московского театра-студии под руководством Олега Табакова.
Имеется в активе у Смолякова и опыт режиссуры над спектаклем «Потомок», но, по словам самого актёра, он никогда в жизни этим заниматься больше не будет.
В кино актёр дебютировал в середине 1970-х годов. Первоначально снимался в ролях положительных героев («О тебе» (1981), «Витражных дел мастер» (1985), «Государственная граница. Год сорок первый» (1986), «Иван Бабушкин» (1985)), с возрастом перешёл на сериальных негодяев («День рождения Буржуя» (1999—2001), «Потерявшие солнце» (2004), «Тульский Токарев» (2010), «Две судьбы» (2004—2005)). Известен по роли следователя Ивана Черкасова в цикле многосерийных детективных телевизионных художественных фильмов: «Мосгаз» (2012), «Палач» (2014), «Паук» (2015), «Шакал» (2016) и «Операция „Сатана“» (2018).
В октябре 2007 года в результате уличного нападения получил травму головы и сотрясение мозга. Был госпитализирован.
17 сентября 2016 года на сцене Государственного театра наций состоялась премьера спектакля «Заводной апельсин», поставленного режиссёром Филиппом Григорьяном по одноимённому роману Энтони Бёрджесса, в котором Андрей Смоляков играет главную роль писателя.
В августе 2018 года актёр снялся в проморолике «Первого канала» под названием «Новый первоклассный сезон».
В 1980 году окончил Государственный институт театрального искусства имени А. В. Луначарского (ГИТИС) (мастерская Олега Павловича Табакова)