Jean-Pierre Marielle était né à Dijon. Pensionnaire dans un lycée, il monte avec l'aide de camarades de petits spectacles récréatifs. Un professeur l'incite à persévérer dans cette voie et, une fois ses études achevées, il se rend à Paris où il commence à suivre des cours d'art dramatique avant d'entrer au Conservatoire. Il y obtient un deuxième prix de comédie. Marielle débute comme stagiaire, joue sur de petites scènes de la Rive Gauche avant d'être engagé par la compagnie Grenier-Hussenot. Il connaît ses premiers succès dans "Se trouver" de Pirandello et "L'Anniversaire" de Pinter.
C'est en 1957 qu'il débute à l'écran dans le film d'Henri Decoin, Tous_peuvent_me_tuer .