Виктор Петрович Иванов родился 12 мая 1950 года в Новгороде в семье военного.
Окончил Ленинградский электротехнический институт связи имени профессора М. А. Бонч-Бруевича в 1974 году по специальности «радиосвязь» (годом раньше тот же вуз — и по той же специальности — окончил Борис Грызлов; Иванов познакомился с ним, когда работал в комитете комсомола института).
После окончания института служил в Советской Армии, потом работал инженером Научно-производственного объединения «Вектор» в Ленинграде.
В 1977 году (по другим данным — в 1978 году) Иванов окончил Высшие курсы КГБ и до 1994 года работал в Управлении КГБ по Ленинграду и Ленинградской области, пройдя путь от оперуполномоченного районного отдела до начальника отдела по борьбе с контрабандой.
В 1987—1988 годах принимал участие в военном конфликте в Афганистане. По информации СМИ, он входил в состав группы сотрудников советских спецслужб, действовавших под наименованием «Каскад».
В декабре 1990 года Иванов вместе с Грызловым и Валентином Чуйкиным зарегистрировал малое предприятие «Блок». Был также директором фонда «Базис».
В октябре 1994 года Иванов был уволен в запас в звании полковника и назначен начальником управления административных органов мэрии Санкт-Петербурга (по данным СМИ, занял этот пост благодаря содействию своего нового знакомого Владимира Путина, тогдашнего помощника мэра города Анатолия Собчака). В мэрии Иванов курировал работу правоохранительных органов.
В 1996—1998 годах — генеральный директор российско-американского ЗАО «Телеплюс», занимавшегося организацией трансляции спутниковых каналов и монтажом оборудования для приёма спутниковых и эфирных каналов.
В 1998—1999 годах — начальник Управления собственной безопасности ФСБ России.
В 1999—2000 годах — руководитель Департамента экономической безопасности ФСБ России.
С 2000 года — заместитель руководителя администрации президента Российской Федерации.
В июне 2002 года Иванов стал председателем совета директоров только что созданного ОАО «Концерн ПВО „Алмаз-Антей“», выпускающего зенитные ракетные комплексы С-300 и С-400. При этом Иванов сумел не допустить включения концерна в состав Межведомственной финансово-промышленной группы «Оборонительные системы», на чём настаивал возглавлявший тогда Минпромнауки Илья Клебанов.
С марта 2004 года по май 2008 года — помощник президента Российской Федерации, в его обязанности вошли информационно-аналитическое обеспечение деятельности президента по кадровым вопросам, вопросам государственной службы и защиты конституционных прав граждан; обеспечение взаимодействия администрации президента с органами государственной власти по этим вопросам; подготовка проектов решений президента по кадровым вопросам, по вопросам назначения судей, по вопросам гражданства, помилования, а также по вопросам награждения государственными наградами.
В июне 2005 года Иванов был избран председателем совета директоров ОАО «Аэрофлот». В сентябре 2005 года Иванов был повторно избран председателем совета директоров ОАО «Концерн ПВО „Алмаз-Антей“».
15 мая 2008 года указом президента Медведева Иванов был назначен директором Федеральной службы Российской Федерации по контролю за оборотом наркотиков. Одновременно с этим Иванов покинул пост председателя совета директоров «Аэрофлота».
В октябре 2010 года Иванов посетил Лос-Анджелес, чтобы «провести кампанию против легализации марихуаны в Калифорнии», а также приехал в Вашингтон, чтобы встретиться с главой американского антинаркотического ведомства Джилом Керликовски (Gil Kerlikowske) и спецпредставителем США в Афганистане Ричардом Холбруком и обсудить меры по борьбе с маковыми посевами в Афганистане, а также призвать к более активному осуществлению программы по уничтожению этих посевов с воздуха.
5 апреля 2016 года Указом Президента России Владимира Путина Федеральная служба по контролю за оборотом наркотиков упразднена, а её функции и полномочия передаются в систему Министерства внутренних дел Российской Федерации к 1 июня 2016 года. Виктор Иванов не перешёл на службу в новое ведомство. 7 мая 2016 года исключён из состава Совета Безопасности Российской Федерации.
16 июля 2018 года Виктор Иванов был избран Президентом Ассоциации «РД МНТС».