James Gray grandit dans le Queens, à New York. Il veut devenir peintrre, mais lorsqu'il découvre l'oeuvre de cinéastes comme Coppola, Visconti et Kurosawa, il se tourne vers le cinéma et entre à l'Université de Californie du Sud. Après un film de fin d'études remarqué, la reconnaissance ne se fait pas attendre.
En 1994, alors qu'il n'a que 25 ans, son premier long métrage Little Odessa reçoit le Lion d'argent à Venise (ex-aequo avec Créatures célestes de Peter Jackson). Cette oeuvre âpre et virtuose s'attache au conflit psychologique d'un tueur solitaire (Tim Roth), en rupture avec sa famille et la communauté russe de New York. Refusant ensuite de mettre en scène plusieurs scripts (dont Ennemis rapprochés), il écrit une adaptation de Paycheck de Philip K. Dick, qu'aucun studio ne veut financer. Son deuxième long métrage, The Yards, écrit entre 1995 et 1997 et produit par Miramax, voit le jour en 2000. Sélectionné à Cannes, ce film noir aux allures de tragédie antique réunit grands anciens (James Caan, Faye Dunaway) et jeunes pousses prometteuses (Mark Wahlberg, Joaquin Phoenix, Charlize Theron).
