Estuda física na Universidade de Nova York e termina o doutorado na Universidade de Columbia, em 1962. Passa a trabalhar em colaboração com o também astrofísico Robert Wilson, na equipe de pesquisa da empresa de telecomunicações Bell Telephone Laboratories.
Ao monitorar as emissões de ondas de rádio em torno da Via Láctea por meio de um radiotelescópio, ambos detectam a radiação de fundo, de microondas cósmicas, que emana das nuvens de gases que circundam o sistema galáctico.
A presença da radiação corrobora, em parte, a teoria da formação do universo fundamentada numa grande explosão, ou Big Bang. Os dois cientistas recebem o Prêmio Nobel de Física em 1968. Na década de 70, Penzias continua a pesquisar a radiação de fundo em New Jersey, no departamento de ciências astrofísicas da Universidade de Princeton e na Bell Laboratories. No início da década de 80, é nomeado vice-presidente da empresa de pesquisa.