Дебютировал ещё в чемпионате СНГ (1991-92). На драфте НХЛ 1992 года выбран в 1 раунде под общим 14 номером командой «Вашингтон Кэпиталз». 3 марта 2004 года обменян в «Бостон Брюинз». 3 августа 2005 года как неограниченно свободный агент подписал контракт с «Питтсбург Пингвинз».
7 июня 2013 года права на Гончара были приобретены «Даллас Старз» в обмен на возможный выбор в 6-м раунде драфта 2013 года. 8 июня, Гончар согласился подписать двухлетний контракт с «Далласом» на $10 млн.
Сергей Гончар один из немногих хоккеистов, которые входят в категорию — защитники-бомбардиры. В каждом сезоне Сергей забивает более 12 шайб и раздавая при этом более 50 передач. Играя за «Вашингтон», Сергей забивал и 18, и 26, и 19 шайб за сезон. Гончар обладает пушечным броском, вратари почти что бессильны против его броска с ходу. Неоднократно призывался на Матч всех звезд НХЛ.
Рекордсмен среди российских защитников в регулярных чемпионатах НХЛ по количеству игр (1301), числу заброшенных шайб (220), голов в большинстве (102), победных голов (35), голов в овертайме (4), нанесенных бросков в створ ворот, набранных очков — 811 (220+591). По количеству сыгранных матчей среди всех российских хоккеистов уступает только Алексею Ковалёву (1316 игр). Среди всех защитников в истории НХЛ занимает 17-е место по количеству очков, голов, передач, 18-е по количеству игр, 10-е по количеству голов в большинстве, 14-е по количеству победных голов, 21-е по количеству бросков.
27 октября 2015 года завершил карьеру игрока и вошёл в тренерский штаб «Питтсбург Пингвинз».