C'est à Tenafly (New Jersey), qu'est né Edward Allen Harris. Pendant sa scolarité, il se fait remarquer pour ses compétiences sportives, notamment en base-ball et en football américain. Il obtient même une bourse pour aller faire du foot à l'université de Columbia, à New York, mais après une année, son intérêt pour le ballon ovale s'estompe, et il abandonne alors tout pour rejoindre ses parents dans l'Oklahoma, où il rejoint les rangs de l'université locale. C'est là que son goût pour le théâtre commence à se faire sentir, d'abord en tant que simple spectateur, puis comme comédien. Harris quitte l'université à nouveau avant d'avoir obtenu son diplôme, mais cette fois pour se lancer dans la vie active : de nombreux petits rôles dans les théâtres locaux font enfin place à un premier rôle, celui du roi Arthur dans "Camelot".

Au début des années 70, il rejoint Los Angeles où il obtient une licence au California Institute of the Arts. Il s'illustre, à l'occasion, dans de nombreux spectacles semi-amateurs, comme "Doux oiseaux de jeunesse" et "Un tramway nommé Désir" de Tennessee Williams, ou bien encore "L'Ouest, le vrai" de Sam Shepard. Récompensé pour de nombreuses compositions sur les planches, Ed Harris débute au cinéma dans Morts suspectes, de Michael Crichton.