Su verdadero nombre era Lutha Adler, y nació en Nueva York. Sus padres eran los actores Sara y Jacob P. Adler, de origen ruso y judío. Tenía cinco hermanos, que también trabajaron en el teatro y de ellos, su hermana Stella Adler se hizo famosa como actriz y profesora de teatro.
Adler debutó como actor en Broadway en 1921, y actuó en varias producciones antes de unirse al The Group Theatre de Nueva York en 1931. Trabajó junto a Katharine Cornell en Alien Corn (1933), junto a su hermana Stella en Gold Eagle Guy (1934), Awake and Sing! y Paradise Lost (ambas de 1935), y junto a Frances Farmer en Golden Boy (1937). También actuó en el musical anti-bélico Johnny Johnson (1936). A principios de los años cuarenta dirigió su primera producción, They Should Have Stood in Bed, que solo mantuvo once representaciones. Su siguiente trabajo como director, A Flag is Born, consiguió 120 representaciones en 1946, y entre su reparto contaba con un novato Marlon Brando en uno de los papeles principales.
A partir de 1937 Adler solo actuó para el cine, aunque nunca fuera su prioridad. Entre sus títulos figuran D.O.A. (Con las horas contadas) (1950) M (1951), Voyage of the Damned (1976) y Ausencia de Malicia (1981). También trabajó con frecuencia en la televisión, en series tales como General Electric Theater, Kraft Television Theater, Robert Montgomery Presents, The Twilight Zone, Los Intocables, Ben Casey, Ruta 66, 77 Sunset Strip, Misión: Imposible, Hawaii Cinco-O y Las Calles de San Francisco.
Adler estuvo casado con la actriz Sylvia Sidney desde 1938 hasta 1947. Tuvieron un hijo, Jacob.
Falleció en Kutztown, Pennsylvania, y fue enterrado en el Cementerio Mount Carmel, en Glendale, Nueva York.
