Scheel zastával vrcholný úrad v spolkovej republike v rokoch 1974 až 1979. Scheel po druhej svetovej vojne vstúpil do Slobodnej nemeckej strany (FDP) a ako jej politik sa v roku 1961 dostal do vlády konzervatívneho kancelára Konrada Adenauera, kde pôsobil ako minister pre hospodársku spoluprácu.
Po voľbách v roku 1969 sa podieľal na vytvorení prvej koaličnej vlády sociálnej demokracie a FDP a v kabinete Willyho Brandta sa stal vicekancelárom a ministrom zahraničia.
Po Brandtovej demisiui v roku 1974 viedol Scheel deväť dní nemeckú vládu, kým sa funkcie kancelára ujal Helmut Schmidt. V rovnaký deň, keď Schmidt prevzal vládu, Scheel kabinet opustil, pretože ho medzitým zvolili za prezidenta.
Funkcie sa ujal 1. júla 1974, po skončení svojho päťročného funkčného obdobia znovu nekandidoval aj vzhľadom na to, že pre rozloženie síl v nemeckom parlamente nemal šancu na víťazstvo.