James Caan voit le jour dans le Bronx. Ses parents souhaitent que lui comme son frère et sa soeur apprennent la musique, mais James est davantage porté sur le sport. A 16 ans, il est surveillant sportif dans son lycée, et, à l'Université du Michigan, il s'adonne particulièrement au football tout en étudiant sagement l'économie et l'histoire. Et puis il découvre, toujours dans le cadre scolaire, le théâtre, et décide, contre toute attente, d'en faire son métier. Il effectue ses premières armes au sein d'une troupe itinérante avec une production de "La ronde" pendant neuf mois, puis débute à Broadway dans la foulée, en 1961, avec "Mandingo" et "Blood.