Né sous le nom de Lutha Adler à New York,, Adler était l'un des enfants d'une famille qui en comptait six. Ses parents étaient les acteurs russes et juifs Sara et Jacob Pavlovitch Adler. Ses frères et ses sœurs travaillaient également au théâtre, avec sa sœur Stella Adler, qui fut célèbre en tant qu'actrice et professeur dramatique.
Adler fit sa première apparition à Broadway en 1921 et apparut dans plusieurs productions avant de rejoindre « The Group Theatre » en 1931. Il joua face à Katharine Cornell dans Alien Corn