Олег Шкловский родился 9 июля 1947 года в Москве, в семье участника Великой Отечественной войны Менделя Хацкелевича Шкловского (1923—1982). Окончил 8 классов средней школы, после окончания школы стал работать на киностудии «Мосфильм», где освоил несколько профессий — радиомонтажёр, помощник звукооператора. Затем будущий актёр начал работу на заводе молочного оборудования в качестве шофёра-грузчика. Одновременно учился в Школе рабочей молодёжи.
Получив среднее образование, Олег Шкловский поступил в Школу-студию МХАТ (курс А. М. Карева). В 1970 году Олега Шкловского пригласил в труппу театра «Современник» Олег Ефремов. В этой труппе Олег Шкловский проработал 20 лет.
Сочиняя собственные сценарии, пьесы и прозу, Олег Шкловский убеждался, что ошибся в выборе профессии. Написав заявление об уходе, актёр начал преподавать восточные боевые искусства, был занят восстановлением православного храма. Пел в хоре, был чтецом, реставратором. Только в конце 1990-х актёр вернулся на сцену.
Гильдия актёров кино России на фестивале «Созвездие» вручила ему приз за лучшее исполнение мужской роли второго плана в фильме «У попа была собака». После этого актёру стали поступать предложения сняться в фильмах.
Позже Олег Шкловский по приглашению Александра Любимова становится ведущим ток-шоу в формате исторического расследования «Как это было» на канале ОРТ (производство телекомпании ВИD). Программа выходила с октября 1997 по май 2002 года.
В 2005 году актёр снимался в сериале «Не родись красивой», где он играл вместе со своим сыном Михаилом Шкловским.