Alan Arkin grandit dans un quartier de Brooklyn à New York, au sein d'une famille d'intellectuels et d'artistes juifs, immigrés de Russie et d'Allemagne. Enfant de la balle, manifestant dès son plus jeune âge une passion pour la musique et le théâtre, il abandonne pourtant ses études supérieures pour fomer son groupe de musique, "The Tarriers". Il écrit même une chanson en 1956, "The Banana Boat Song", qui sera reprise triomphalement par un certain Harry Belafonte peu de temps après. Vivant d'expédients et de petits boulots, il essaie tant bien que mal de décrocher sur le tas un petit rôle à la télévision ou au théâtre. La chance lui sourit en 1957, où il décroche le petit rôle d'un chanteur dans le film musical Calypso Heat Wave.

Sa carrière décolle sur les planches au début des années 60, lorsqu'il rejoint la célèbre troupe d'improvisation de Chicago, le "Second City Theater". Son premier rôle à Broadway, le personnage principal de la pièce de Carl Reiner, "Enter Laughing", lui vaut le Tony Award du Meilleur acteur. En 1966, il obtient un franc succès dans la comédie satyrique Les Russes arrivent, signée par Norman Jewison, pour laquelle il est cité à l'Oscar du Meilleur acteur et remporte le Golden Globe. L'année suivante, il donne la réplique à une Audrey Hepburn aveugle dans Seule dans la nuit, où il incarne un terrifiant psychopathe. Ironie : en 1968 il incarne un sourd-muet dans Le Coeur est un chasseur solitaire; un rôle pour lequel il obtient sa deuxième citation à l'Oscar. En 1970, il livre une désopilante prestation avec le rôle du Capitaine de bombardier Yossarian, dans le pamphlet anti-guerre Catch 22 (Mike Nichols), avant de signer avec Little Murders sa première réalisation. Après quelques années passées à la télévision, il campe en 1976 un étonnant Dr Freud dans le très réussi Sherlock Holmes attaque l'Orient Express.