Αμέσως μετά την εκλογή του Κωνσταντίνου Καραμανλή στο προεδρικό αξίωμα στις 5 Μαΐου 1980, ξεκίνησαν οι διεργασίες για τη διαδοχή του στην πρωθυπουργία και την ηγεσία της Νέας Δημοκρατίας. Την εκλογή από την Κοινοβουλευτική Ομάδα της κυβερνώσας παράταξης διεκδίκησαν οι στενοί συνεργάτες του κατά τα προηγούμενα χρόνια, Ευάγγελος Αβέρωφ-Τοσίτσας και Γεώργιος Ράλλης. Η σχετική ψηφοφορία πραγματοποιήθηκε στις 8 Μαΐου. Η Κοινοβουλευτική Ομάδα της Νέας Δημοκρατίας εξέλεξε πρόεδρο με 88 ψήφους τον Γεώργιο Ράλλη. Από την άλλη, ο Αβέρωφ έλαβε 84 ψήφους, ενώ τρεις βουλευτές έριξαν λευκό στην κάλπη.
Ο Αβέρωφ αναγνώρισε αμέσως το αποτέλεσμα των εσωκομματικών εκλογών και συνεχάρη τον Ράλλη για την εκλογή του. Κατά τις επόμενες ημέρες ο Γεώργιος Ράλλης σχημάτισε τη νέα κυβέρνηση της Νέας Δημοκρατίας, η οποία, όπως ανέφερε, αποτελούσε συνέχεια των κυβερνήσεων του Κωνσταντίνου Καραμανλή. Στις προγραμματικές δηλώσεις της κυβέρνησής του, ο πρωθυπουργός τόνισε ότι το κύριο βάρος της πολιτικής του προοριζόταν να εστιαστεί στον οικονομικό τομέα. Οσον αφορά την εξωτερική πολιτική του, υπογράμμισε πως ήταν ανάγκη να ξεκινήσει ο διάλογος με την Τουρκία στη βάση του διεθνούς δικαίου. Αφού εξασφάλισε την ψήφο εμπιστοσύνης της Βουλής με 180 ψήφους έναντι 115, ο Ράλλης συναντήθηκε με τον Καραμανλή στις 27 Μαΐου.
Ο Ράλλης ευτύχησε να είναι ο πρωθυπουργός που επικύρωσε την ένταξη της Ελλάδας στην Ευρωπαϊκή Οικονομική Κοινότητα. Προώθησε μια μετριοπαθή πολιτική, αποφεύγοντας να υψώσει τους τόνους απέναντι στην κριτική που του ασκούσε η αντιπολίτευση για τη διαχείριση των ζητημάτων της οικονομίας. Μνημειώδης είναι η φράση του «δεν θέλω ου», ζητώντας από τους φίλους του κόμματος να μην αποδοκιμάζουν τον κύριο αντίπαλο της Νέας Δημοκρατίας και ηγέτη του ΠΑΣΟΚ, Ανδρέα Παπανδρέου, κατά την προεκλογική συγκέντρωση στο Ηράκλειο της Κρήτης.
Τον Σεπτέμβριο του 1981 προκηρύχθηκαν εθνικές εκλογές για τις 18 Οκτωβρίου. Το διακύβευμα των εκλογών εστιαζόταν, σύμφωνα με τους πολιτικούς αναλυτές της εποχής, στο δίλημμα της συνέχισης της πολιτικής των κυβερνήσεων της Νέας Δημοκρατία και της πολιτικής αλλαγής που εξέφραζε το ΠΑΣΟΚ. «Το κόμμα που διακυβέρνησε μέχρι σήμερα τη χώρα αξιώνει από τον ελληνικό λαό να εκτιμήσει στις πραγματικές του διαστάσεις το έργο που έχει επιτελεσθεί τα τελευταία επτά χρόνια, να κατανοήσει ως αναπόφευκτα τα λάθη που διαπράττονται κατά την ενάσκηση της εξουσίας και κυρίως να μην ενδώσει στον πειρασμό μιας “δοκιμής”, η οποία, κατά την άποψη του κόμματος της πλειοψηφίας, σημαίνει “οποσθοδρόμηση προς το χάος”.
Το ΠΑΣΟΚ στρέφεται εναντίον της πολιτικής που ακολούθησαν οι κυβερνήσεις της “Ν.Δ.” κατά την 7ετία, αποδίδοντας όλα τα προβλήματα που αντιμετωπίζει η χώρα σε εσφαλμένους χειρισμούς ή και σε “ολέθριες επιλογές της Δεξιάς”. Και προβάλλει την “αλλαγή”, ως ανατροπή όχι μόνον μιας πολιτικής, αλλά και ως αναθεώρηση παγίων θέσεων και επιλογών στον εσωτερικό και τον εξωτερικό τομέα», ανέφερε χαρακτηριστικά η «Κ» στο πρωτοσέλιδό της την ημέρα των εκλογών.
Οι εκλογές διεξήχθησαν με απόλυτη ηρεμία. Το αποτέλεσμα ήταν αδιαμφισβήτητο με το 48,07% των εκλογέων να ψηφίζουν το ΠΑΣΟΚ, το οποίο εξέλεξε 172 βουλευτές, ενώ η Νέα Δημοκρατία έλαβε το 35,87 % των ψήφων, εκλέγοντας 115 βουλευτές. Οταν διαμορφώθηκε το εκλογικό αποτέλεσμα, ο Ράλλης συνεχάρη τον Ανδρέα Παπανδρέου για τη νίκη του, δηλώνοντας: «Σε μια δημοκρατία, ο λαός αποφασίζει κυριαρχικά, και ο ελληνικός λαός αποφάσισε. Η ετυμηγορία του είναι για όλους σεβαστή. Δεν πιστεύω ότι ήταν η καλύτερη επιλογή. Εύχομαι ο λαός να μη χρειαστεί να μετανιώσει. Παραδίδουμε στον πρόεδρο του ΠΑΣΟΚ μιαν Ελλάδα ισχυρή. Η Ν.Δ. και από τη θέση της αντιπολίτευσης που την έταξε η ψήφος του λαού θα συνεχίσει να εκπληρώνει το καθήκον προς το έθνος και τη δημοκρατία».