Terceiro dos cinco filhos de uma família luterana fervorosa, Johannes Rau nasceu em 16 de Janeiro de 1931 em Wuppertal, no Estado da Renânia do Norte-Vestfália.
Sua infância deu-se durante a ascensão do nazismo, passada a guerra Rau torna-se jornalista enquanto estudava para se tornar editor de livros. Trabalhou numa editora da juventude evangélica que se dedicava a temas cristãos e aos países em desenvolvimento.
Rau entrou para o Partido Social Democrático (SPD), mas o jovem livreiro subiu rapidamente dentro do partido e, em 1958, teve sua primeira experiência parlamentar, ao assumir uma cadeira de deputado estadual. Em 1978, a Assembleia Legislativa (Landtag) escolheu o secretário Johannes Rau. Suas únicas derrotas eleitorais foram a nível nacional. Como candidato a Chanceler Federal, liderou a campanha do SPD, mas não conseguiu vencer a CDU de Helmut Kohl.
Em 1994, Rau aceitou disputar o pleito para a presidência da República, mesmo sabendo da previsível derrota no colégio eleitoral da Assembleia Nacional, de maioria democrata-cristã e liberal. Em 1999 assumiu as suas funções presidenciais no Palácio Bellevue, em Berlim.