Né au sein d'une famille italo-américaine, Joe Mantegna débute sa carrière d'acteur au théâtre en 1969, dans l'adaptation de Hair. Après avoir rejoint la compagnie Organic Theatre of Chicago, il fait ses débuts à Broadway dans la comédie musicale Working. Il fait alors la rencontre du scénariste et auteur David Mamet, qui lui confie un rôle dans sa pièce Glengarry Glen Ross