Né à Aumale, Algerie. Fils de colonel, Jean-Claude Brialy vit son enfance au rythme des mutations paternelles. Après son baccalauréat, il s'inscrit d'abord au Conservatoire de Strasbourg où il obtient un premier prix de comédie, puis au Centre d'art dramatique de l'Est. En service militaire à Baden-Baden, il est affecté au service cinéma des armées, qui lui donne entre autres l'occasion de tourner dans son premier court métrage Chiffonard et Bon Aloi. Il sympathise aussi à cette époque avec plusieurs comédiens en tournée théâtrale, dont Jean Marais, qui l'encourage dans sa vocation.
Débarquant à Paris en 1954, il fréquente très vite la bande des Cahiers du Cinéma. C'est Jacques Rivette qui l'engage le premier dans son court métrage Le_coup_du_berger en 1956.