Родился 30 июня 1955 года в Москве.
В 1978 окончил Московский государственный институт международных отношений МИД СССР по специальности «международные отношения», в 2000 году — Финансовую академию при правительстве РФ по специальности «мировая экономика». В 2002 году защитил кандидатскую диссертацию на тему «Роль всемирной торговой организации в глобализирующейся мировой экономике».
В 1977—1978 годах работал референтом МИД СССР, с 1978 по 1983 год работал атташе посольства СССР в Дублине (Ирландия). С 1983 по 1985 год был третьим секретарём Второго европейского отдела МИД СССР. С 1985 по 1991 год Косов занимал должности второго секретаря, первого секретаря, советника Посольства СССР в Лондоне (Великобритания).
В 1991—1992 годах — советник управления МИД СССР. С 1992 по 1993 работал помощником вице-президента РФ Александра Руцкого по вопросам внешней политики и внешнеэкономических связей.
С 1993 по 1996 занимал пост первого заместителя генерального директора компании Бориса Березовского — «Автомобильный всероссийский альянс» (AVVA). В июне 1996 года Николай Косов был избран в состав совета директоров AVVA и в этом же месяце стал членом совета директоров ОАО «АВТОВАЗ». 16 ноября 1996 был назначен генеральным директором «Автомобильного всероссийского альянса».
В июле 1998 был назначен первым заместителем председателя правления Внешэкономбанка СССР. С 2000 по 2002 год являлся членом совета директоров «Руссобанка». С мая 2002 по апрель 2004 (и с апреля 2006 года) — член совета директоров ОАО «Национальный торговый банк» (Самара, ныне банк «Глобэкс»).
С мая 2004 по декабрь 2005 являлся членом совета директоров АО «АВТОВАЗ». С 2004 года — председатель совета директоров ЗАО «Росэксимбанк». С ноября 2007 года — председатель наблюдательного совета ОАО «Белвнешэкономбанк».
С июня 2007 года Николай Косов был членом правления и первым заместителем председателя государственной корпорации «Банк развития и внешнеэкономической деятельности (Внешэкономбанк)». С 2008 года — член совета директоров ОАО «РЖД». С марта 2009 года вновь стал председателем совета директоров ЗАО «Росэксимбанк». С 2010 года входит в состав совета директоров Российско-британской торговой палаты.
В июле 2012 года Косов ушел из «Внешэкономбанка», а в августе этого же года Минфин РФ внес в правительство его кандидатуру на пост председателя правления «Международного инвестиционного банка». 17 сентября 2012 года совет МИБ единогласно принял решение о назначении Н. Н. Косова председателем правления ОАО «Международный инвестиционный банк». В ноябре 2013 года он не вошёл в новый состав совета директоров «РЖД».
Николай Николаевич Косов является членом комиссии Российской Федерации по делам ЮНЕСКО. За вклад в развитие финансово-банковской системы России был награждён орденом «За заслуги перед Отечеством» IV степени, орденом Александра Невского, орденом Почета, орденом Дружбы, а также медалями ордена «За заслуги перед Отечеством» I и II степени. Неоднократно отмечен Благодарностью Президента Российской Федерации, удостоен почетного знака «Лидер российской экономики».
В 2019 году, когда Международный инвестиционный банк переносил свою штаб-квартиру в Будапешт, представители западных служб безопасности были обеспокоены тем, что возглавляющий банк Косов происходит из «известной семьи, связанной с КГБ», и подозревали Косова в том, что и он сам служил в российской разведке. В таких условиях западные официальные лица высказывали озабоченность тем, что МИБ получил от венгерского парламента «дипломатический иммунитет от любого контроля со стороны полиции или финансовых регуляторов» и может стать «базой для проведения Россией разведывательных операций в Европе».
По данным «Новой газеты» на апрель 2021 года, Косову принадлежит «абсолютный рекорд» по числу полученных от Владимира Путина наград среди людей, связанных с госаппаратом: «за вклад в развитие банковской системы председатель Международного инвестиционного банка получил пять орденов».