Oliver wurde bereits in Kindertagen in den Motorsport eingeführt, als sein Vater (Carl Jarvis) für Formula Ford 1600 an Meisterschaften teilnahm. Natürlich dauerte es nicht lang, bis auch Oliver die Berufung verspürte, selbst in einen Rennwagen zu steigen. Bereits mit 6 Jahren fuhr er bei einem Motorcross Wettkampf mit, wenn auch damals noch mit 2 Reifen. Mit 8 Jahren ging er über zum Kart Fahren, wo er wertvolle Erfahrungen sammeln konnte und sich in den einzelnen Klassen permanent weiter entwickelte. Während der 10 Jahre, in denen er  Kart gefahren ist, erreichte er erwähnenswerte Erfolge in britischen und europäischen Wettkämpfen, sogar beim World-Karting als Fahrer für Tony Kart.

Oliver wechselte mit 18 Jahren vom europäischen Kart zur Konkurrenz der britischen Einsitzer-Wagenmeisterschaft, wo er in der Formula Ford-Kategorie mitstritt. Anschließend fuhr er bei Formula Renault mit.

2005 bewies sich als ein außerordentlich erfolgreiches Jahr für Oliver als er den Siegertitel als UK Formula Renault Champion in die Tasche stecken konnte. Noch im gleichen Jahr wurde er ausgezeichnet mit dem BRDC Rising Star Status und bekam außerdem den ruhmvollen McLaren Autosport BRDC Young Driver Award.

2006 trat Oliver bei der britischen F3 International Serie mit Carlin Motorsport an. In seinem ersten Jahr gewann er 3 Rennen, erreichte er diverse Siegertreppchen und machte den zweiten Platz des Wettbewerbs um die Auszeichnung des besten „Rookies“ (bester Nachwuchs im Profisport). Während der Herbst/ Wintersaison 2006/07 machte Oliver sein Debüt im A1GP World Cup of Motorsport als einer von zwei Repräsentanten des Teams für Großbritannien. In seinem ersten Rennen in Beijing wurde er zweiter, dann brachte er das Team GBR zu seinem ersten A1GP-Sieg in Mexiko.

2007 war ein besonders spannendes Jahr für Oliver, nicht zuletzt, weil er den Macau F3 Grand Prix, den World Cup der Formel3-Motorrennen, in unglaublicher Art und Weise gewonnen hat. In diesem Jahr ging Oliver nach Japan, um das erfolgreiche TOM’s Toyota F3 Team zu unterstützen und um am extremen Konkurrenzkampf der All Japan F3-Meisterschaft  teilzunehmen. Das war seine erste Rolle als professioneller Werksfahrer. Er erreichte zahlreiche Rennensiege für das TOM’s Toyota Team.

Oliver setzte sein Talent weiter beim A1 Team GBR ein. 2007/08 nahm er beim World Cup of Motorsport teil, wo er den Sieg für das Team beim Serienstart in Zandvoort (2007) und letztendlich auch in Südafrika und Mexiko holte (2008).

Ein Highlight seiner Karriere 2007 war seine Sieger-Behauptung in einem Formel1-Wagen nach seinem McLaren Autosport BRDC Award-Gewinn 2005. Oliver saß am Steuer eines Vodafone Mercedes McLaren MP4-21 F1-Wagens auf der Silverstone-Rennstrecke und kam in den Genuss, ein Formel1-Auto zu fahren.

2008 machte Oliver sein Debüt bei den Deutschen Tourenwagen-Masters (DTM) als Werksfahrer des AUDI Sport-Teams Phoenix, in der beliebtesten internationalen Tourenwagen-Serie. Er beeindruckte das Team und das Publikum als ständig schnellster Fahrer in einem Jahreswagen. Auch 2009 ist Oliver wieder mit dabei.