Fils du réalisateur Pierre Jolivet, neveu de l'humoriste Marc Jolivet et petit-fils de la comédienne Arlette Thomas, Adrien Jolivet est d'abord stagiaire à la mise en scène. Il suit pendant deux ans les cours d'art dramatique Eva St Paul et joue aussi bien au théâtre
Il participe aussi à quelques courts métrages : Le Cas d'O, La Mirador ou encore Bébé requin de Pascal-Alex Vincent, en compétition officielle à Cannes en 2005.
Il fait ses débuts sur grand écran en 2004 aux côtés de Marilou Berry dans La première fois que j'ai eu 20 ans, de Lorraine Lévy.
C'est avec le film Zim and Co., réalisé par son père, qu'il connaît son premier grand rôle. Guitariste, il compose également la musique de ce film avec Sacha Sieff. Pour ce rôle, Adrien Jolivet est nommé aux Césars dans la catégorie meilleur espoir masculin.