コールはCDUの青年団組織Junge Union(JU)の地元での設立にかかわり(1947年)、在学中の
1953年に党の州支部事務局に加入。
1954年には州のJU副代表、翌年州の党執行部委員に就任。
1959年には地元ルートヴィヒスハーフェン郡の党代表となり、翌年ルートヴィヒスハーフェン市議会の党議員団長。1963年からラインラント・プファルツ州議会の党幹事長。
1966年、党の州支部代表に就任し、同時に党の連邦代表委員の一人となる。
1969年5月19日にラインラント・プファルツ州首相に就任し、CDU副党首となる。州首相として郡の再編成と
トリアー大学・
カイザースラウテルン技術大学の創建にかかわった。彼の地元での有力支持勢力は産業界であった。