Doué pour la danse, Jimmy Gaillard se produit sur scène dès l'âge de sept ans. Après un passage par le théâtre, le jeune prodige est envoyé à New York pour danser et chanter dans des shows animés par Eddie Cantor et Bing Crosby. De retour en France, il s'illustre dans plusieurs opérettes avant de rejoindre l'orchestre de Jo Bouillon puis les Collégiens de Ray Ventura.
Habitué des plateaux de cinéma, qu'il fréquente depuis l'âge de dix ans, Jimmy Gaillard joue les enfants vedettes dans Le Mystère de la tour Eiffel