Родился в армянской семье. Отец — Оган Степанович Чубарьян, библиотековед с международной репутацией, профессор, автор и редактор большого числа книг и статей по библиотековедению, главный редактор сборника «Библиотеки СССР» (1964—1975; с 1973 года — «Советское библиотековедение»), и. о. директора Государственной библиотеки им. В. И. Ленина в 1969—1972 годах.
С отличием окончил исторический факультет МГУ в 1955 году и аспирантуру Института истории АН СССР в 1959 году. Дипломная работа и кандидатская диссертация А. О. Чубарьяна были посвящены истории Брестского мира 1918 года.
С 1958 года работает в Институте истории (с 1968 года — Институт всеобщей истории): младший научный сотрудник, с 1963 года — учёный секретарь по координации, с 1972 года — заведующий отделом, в 1988—2015 годах — директор Института. Учёный секретарь Отделения истории АН СССР (1966—1973). В 1960—1970-е годы одновременно занимался преподавательской деятельностью в МГИМО и Дипломатической академии МИД. В 1971 году защитил докторскую диссертацию «В. И. Ленин и формирование советской внешней политики (1917—1922)». Член-корреспондент РАН c 31 марта 1994 года по Отделению истории (всеобщая история), академик c 26 мая 2000 года.
Вице-президент Национального комитета историков СССР (1970—1991), председатель НКРИ. Избирался вице-президентом Международной ассоциации современной истории Европы (с 1973 года), членом бюро и вице-президентом Международного комитета исторических наук (1990—2000), сопредседателем Комиссий историков России и Австрии, России и Германии, России и Латвии, России и Литвы, России и Румынии, России и Украины (с 1997 года). Президент Российского общества историков-архивистов (1996—2006). Первый ректор, декан и Президент Российского центра гуманитарного образования (ГАУГН); заведующий центром зарубежной истории РГГУ. Президент Ассоциации институтов истории стран СНГ. Председатель Всероссийской общественной организации «Ассоциация учителей истории и обществознания».
Председатель экспертного совета ВАК РФ по истории (1999—2007), член Совета по науке, технологиям и образованию при Президенте РФ (2001—2012), член Комиссии по вопросам религиозных объединений при Правительстве РФ (с 2007 года). Входил в состав Комиссии по противодействию попыткам фальсификации истории в ущерб интересам России, существовавшей в 2009—2012 годах. C 2007 года — руководитель Научного совета некоммерческой организации «Фонд „Всемирная энциклопедия путешествий“», с 2015 года — председатель Федерального учебно-методического объединения в системе высшего образования по укрупнённой группе специальностей и направлений подготовки «46.00.00 История и археология». Член Российского совета по международным делам и Российского Пагуошского комитета при Президиуме РАН, доверенное лицо кандидата в президенты России В. В. Путина на выборах 2018 года.
Главный редактор периодических изданий «Европейский альманах», «Историческое пространство. Проблемы истории стран СНГ», «Международный журнал социальных наук», «Одиссей. Человек в истории», «Россия и Балтия», «Цивилизации», «Cold War History»; член редколлегий «Военно-исторического журнала», журналов «Вестник Российской академии наук», «Новая и новейшая история», «Общественные науки и современность» и «Вестник архивиста».
Автор свыше 350 научных публикаций. Среди них книги: «Брестский мир», «Европейская идея в истории в XIX—XX вв.» (переведена и издана в Великобритании и ФРГ); «Европа в XX веке: история и перспективы» (издана в США, 2002). Главный редактор «Российской исторической энциклопедии», академических изданий «История Европы» (1992—2000, т. 1—6) и «Всемирная история» (т. 1—6); ответственный редактор и соавтор VI тома «Истории научного и культурного развития человечества» (2002, издание ЮНЕСКО), а также коллективной монографии «Мир в XX веке». Участвовал в подготовке многочисленных учебников и пособий по российской и зарубежной истории, научный руководитель группы Минобрнауки по созданию Федерального историко-культурного стандарта.
В 2006 году в издательстве «Просвещение» вышел учебник истории А. О. Чубарьяна, А. А. Данилова и Е. И. Пивовара. По некоторым отзывам, происхождение культа личности и сталинизма объясняется в учебнике в политических представлениях, которые сложились в 1920-е годы: по мере продвижения к социализму классовая борьба будет нарастать.
Является председателем управляющего совета московской школы № 630 имени дважды Героя Советского Союза Г. П. Кравченко.
В январе 2022 года выступил с обзором обновлённой концепции преподавания истории в российских школах, подготовленной Российской академией наук совместно с Российским историческим обществом. По словам Александра Чубарьяна, концепция следует мировому тренду на расширение показа исторической роли других континентов, помимо Европы. Также в концепции подчёркивается роль России в мировой истории.