Ganhador de um Oscar de Melhor Ator Coadjuvante que atuou com Jack Lemmon no filme Um Estranho Casal, de 1969. Assim como seu parceiro no longa, nunca participou produções de TV extensas, sempre atuando em filmes, séries ou especiais com poucos episódios.
Frequentou a colônia de férias judaica Tranquility Camp, onde começou a se apresentar semanalmente.
Extremamente dedicado à carreira de ator, não foi intimidado nem mesmo pelas extremas e congelantes temperaturas durante as filmagens de Dois Velhos Rabugentos, concluindo seu trabalho antes de ser internado com pneumonia.
Em 1948, casou-se com Grace Geraldine, com quem permaneceu junto por dez anos. Anos depois, casou-se com Carol Grace. Teve três filhos: Charles, David e Jenny.
Ganhou um Oscar de Melhor Ator Coadjuvante por sua atuação em Uma Loura por um Milhão, de 1966.