Воспитанник тренера Юрия Крылова, играл за детскую сборную Украины. В 1999 переехал в Россию, стал играть за молодёжный клуб «Элемаш» (Электросталь). Выступал за юношескую сборную России. Серебряный призёр чемпионата мира 2002 среди юниоров.
В 2002 году заключил договор с хоккейным клубом ЦСКА под руководством Виктора Тихонова. Выступая за ЦСКА, набрал 28 очков (14+14) за 64 матча. На драфте НХЛ 2003 года был выбран командой «Коламбус Блю Джекетс» под общим 4-м номером. 15 августа 2003 года Жердев заключил трёхлетний контракт с американской командой на общую сумму 7,7 миллиона долларов. Изначально объявлялось, что хоккеист будет выступать за ЦСКА до конца 2003 года и переедет в США только в 2004 году. Однако в сентябре 2003 года он исчез из тренировочного центра ЦСКА и через несколько дней появился на базе «Коламбус Блю Джекетс» в Коламбусе. ЦСКА воспротивился переходу игрока, объявив, что Жердев находится на действительной военной службе и не имеет права покидать расположения части. Виктор Тихонов пригрозил Николаю уголовным преследованием. ЦСКА подал иск в международный спортивный суд. В марте 2004 года тот вынес решение в пользу хоккеиста.
В 2006 году Жердев снова вступил в спор с руководством клуба, на сей раз «Блю Джекетс». Хоккеист требовал увеличить ему зарплату, а руководство клуба отказывалось, ссылаясь на то, что последний сезон Николая был неудачным. В итоге стороны сошлись на компромиссной сумме 7,5 млн долларов за три года. В 2008 году Жердев был продан команде «Нью-Йорк Рейнджерс». В 2010 году Жердев подписал контракт с «Филадельфией Флайерз» на один год. Зарплата игрока составила $2 млн. В 2011 году вернулся в Россию, где подписал контракт с клубом КХЛ «Атлант (Московская область)».
Летом 2013 года Жердев был выставлен на «драфт расширения», с которого он, однако, выбран не был. В конце лета Жердев подписал однолетний контракт с чешским клубом «ХК Лев Прага», в котором он провел часть предсезонки, а также принял участие в нескольких контрольных играх. На «Кубке Праги» он забил своему бывшему клубу «Ак Барсу», а позже с командой выиграл и весь турнир. Однако в конце августа Жердев обратился к руководству команды с просьбой о расторжении контракта. Ситуации сопутствовали слухи о том, что Жердев ушёл в загул, во что охотно верилось, ибо за несколько недель до того Жердев устроил дебош в Барвиха Luxury Village. Проведя некоторое время без клуба, 24 сентября Жердев подписал контракт до конца сезона с московским «Спартаком». 15 ноября 2013 клуб расторг контракт с игроком. Итого, за сезон 2013/14 Жердев выступал за «Ак Барс» в течение 105 дней, за «Лев» — 38, за «Спартак» — 51, а за «Северсталь» — 69 дней.
14 июля 2014 Николай Жердев после двухмесячных переговоров с московским «Динамо» заключил годовой контракт. Перед сезоном 2015/16 перешёл в ХК Сочи, за который сыграл 26 матчей в регулярном сезоне КХЛ (7 очков). С декабря 2015 года выступает за нижегородское «Торпедо». Таким образом, Николай успел поиграть уже в 7 клубах КХЛ и 3 клубах НХЛ.
В составе сборной России Жердев стал победителем чемпионата мира 2009 года и чемпионата мира 2012 года.