При Помпиду в правительстве
Пьера Мессмера занял пост министра сельского хозяйства (1972). После кончины Помпиду в 1974 году стал лидером (генеральным секретарём) голлистского Союза демократов в защиту республики. Поддержал на выборах президента
Жискар д'Эстена и в обмен на поддержку назначен
премьер-министром Франции (1974—1976). Затем смещён Жискаром и заменён на
Раймона Барра, после чего ушёл в оппозицию и возглавил партию «
Объединение в поддержку республики» (1976). С 1977 вплоть до избрания президентом в 1995 —
мэр Парижа (первый мэр города более чем за вековой период; должность восстановлена после выделения французской столицы в отдельный департамент, всё это время имелись должности мэров лишь в округах).
Победа голлистов на парламентских выборах
1986 года привела к тому, что Ширак вновь возглавил правительство в рамках «
сосуществования» (cohabitation) с левым президентом
Франсуа Миттераном. Ширак — единственный политик в истории
Пятой республики, дважды становившийся премьер-министром. Во время второго премьерства Ширака (который по совместительству оставался мэром Парижа) его отношения с Миттераном оставались крайне напряжёнными. Миттеран три раза отказывался подписывать распоряжения, принятые кабинетом Ширака (в основном связанные с
реприватизацией предприятий, национализированных после прихода социалистов к власти в 1981 г.), заявив, что «пусть парламентское большинство берёт на себя ту ответственность, которая ему нужна, но навязать эту ответственность мне или требовать моего участия оно не может»; это решение главы государства было на грани конституционности. На
президентских выборах 1988 года действующий премьер Ширак выставил свою кандидатуру против Миттерана (демонстративно называвшего его во время теледебатов «господин премьер-министр») и проиграл, после чего был вынужден уйти в отставку с премьерского поста и вновь стал лидером оппозиции.