1960—1973 — работал на Сумском регенераторном заводе: инженер, старший мастер, главный механик, главный инженер, директор (с 1967).
1973—1978 — второй секретарь Сумского горкома партии.
1978—1983 — секретарь, второй секретарь Сумского обкома партии.
1980—1981 — находился в Афганистане.
1983—1986 — заместитель заведующего отделом химической промышленности ЦК КПСС.
1986—1989 — министр по производству минеральных удобрений СССР.
1989—1992 — председатель правления Всесоюзной Государственной агрохимической ассоциации «Агрохим».
С 1992 года — президент Российской агропромышленной компании «Росагрохим».
С 1997 года — президент Союза российских производителей минеральных удобрений.
С 1998 года — председатель совета директоров ОАО «Минудобрения».
В декабре 1999 года избран в Государственную Думу от Павловского одномандатного округа и оставался депутатом в течение трёх созывов подряд.
С 2011 года по 1 марта 2013 года[3] — член Совета Федерации ФС РФ от Воронежской области, выдвинут региональным политсоветом партии «Единая Россия». Член Комитета Совета Федерации по аграрно-продовольственной политике и рыбохозяйственному комплексу (с 2 марта 2011 года).
Как писала пресса, через цепочку офшорных компаний Ольшанский владел кипрской компанией Yaibera Holdings Ltd, которой, в свою очередь, принадлежало россошанское ОАО «Минудобрения». В 2011 году миллиардер А. Ротенберг приобрёл завод, по разным оценкам, за 1,3 — 1,5 млрд долларов.