Ξεκίνησε την ακαδημαϊκή του σταδιοδρομία ως διδάκτωρ της Νομικής στο Πανεπιστήμιο του Μάρμπουργκ το 1959. Από το 1971 έως το 1975 δίδαξε ως υφηγητής στο Πανεπιστήμιο της Κωνσταντίας  και συνέχισε ως τακτικός καθηγητής του Αστικού Δικαίου στο Πανεπιστήμιο του Γκίσεν. Το 1977 εξελέγη τακτικός καθηγητής στο Πάντειο Πανεπιστήμιο Αθηνών.

Πρωτοστάτησε το 1965 στην ίδρυση του Ομίλου Πολιτικής Έρευνας «Αλέξανδρος Παπαναστασίου». Ο «Όμιλος Παπαναστασίου», είχε ως στόχο τη συστηματική μελέτη των σημαντικότερων προβλημάτων της ελληνικής οικονομίας και κοινωνίας και την ανάληψη πρωτοβουλιών για την αντιμετώπισή τους. Το 1967, ο όμιλος μετεξελίχθηκε στην αντιδικτατορική οργάνωση «Δημοκρατική Άμυνα».

Συμμετείχε ενεργά στον αντιδικτατορικό αγώνα  (1967-1974). Το 1969 διέφυγε στο εξωτερικό. Καταδικάσθηκε ερήμην σε φυλάκιση. Σε αντίποινα συνελήφθη η σύζυγός του και κρατήθηκε για δυο μήνες σε απομόνωση.  Το 1970 στη Γερμανία έγινε μέλος του ΠΑΚ (Πανελλήνιο Απελευθερωτικό Κίνημα) και το 1974 ιδρυτικό μέλος του ΠΑΣΟΚ, συμβάλλοντας καθοριστικά και στην διατύπωση της «Διακήρυξης της 3ης Σεπτέμβρη». Συμμετείχε στο πρώτο Εκτελεστικό Γραφείο και στην πρώτη Κεντρική Επιτροπή του ΠΑΣΟΚ.

Αμέσως μετά την εκλογική νίκη του ΠΑΣΟΚ, τον Οκτώβριο του 1981, ανέλαβε στην πρώτη κυβέρνηση του Ανδρέα Παπανδρέου το Υπουργείο Γεωργίας. Διετέλεσε Υπουργός Γεωργίας μέχρι το 1985. Εξασφάλισε την επιτυχή ένταξη της ελληνικής γεωργίας στην Κοινή Αγροτική Πολιτική της ΕΟΚ, καθώς και τον πολλαπλασιασμό των κοινοτικών ενισχύσεων.  Το 1985 ανέλαβε το Υπουργείο Εθνικής Οικονομίας, όπου παρέμεινε μέχρι τον Νοέμβριο του 1987 εφαρμόζοντας το πρώτο πρόγραμμα σταθεροποίησης με αποτέλεσμα τον δραστικό περιορισμό των μακροοικονομικών ανισορροπιών.  Το Νοέμβριο του 1987 διαφώνησε με την χαλάρωση των μέτρων ανόρθωσης της οικονομίας και παραιτήθηκε. Διετέλεσε για μικρό διάστημα Υπουργός Εθνικής Παιδείας και Θρησκευμάτων κατά τη διάρκεια της Οικουμενικής Κυβέρνησης, του καθηγητή Ξενοφώντα Ζολώτα (Νοέμβριος 1989-Φεβρουάριος 1990).  Από το 1993 ως το 1995 ήταν Υπουργός Βιομηχανίας, Ενέργειας, Έρευνας και Τεχνολογίας καθώς και Υπουργός Εμπορίου ταυτόχρονα. Κατά το διάστημα αυτό έθεσε το πλαίσιο μιας μακροχρόνιας πολιτικής ανάπτυξης της Ελληνικής Οικονομίας.

Το 1996 ανέλαβε  Πρωθυπουργός και Πρόεδρος του ΠΑΣΟΚ. Στο 5ο Συνέδριο του ΠΑΣΟΚ το Μάρτιο του 1999 επανεκλέχθηκε Πρόεδρος του ΠΑΣΟΚ. Στις Κοινοβουλευτικές Εκλογές της 9ης Απριλίου 2000 επανεκλέχθηκε Πρωθυπουργός, με αύξηση του ποσοστού του ΠΑΣΟΚ και στο 6ο Συνέδριο του ΠΑΣΟΚ που ακολούθησε, τον Οκτώβριο του 2001, εκλέχθηκε για τρίτη φορά Πρόεδρος του Κινήματος.

Στις 7 Ιανουαρίου 2004, με στόχο την ομαλή πολιτική διαδοχή, ανακοίνωσε την παραίτησή του από την Προεδρία του ΠΑΣΟΚ, παραμένοντας όμως Πρωθυπουργός μέχρι τη λήξη και της δεύτερης θητείας του και τη διενέργεια των κοινοβουλευτικών εκλογών στις 7 Μαρτίου 2004,  συμπληρώνοντας οκτώ συνεχή χρόνια πρωθυπουργίας.

Εκλέγεται βουλευτής της Α’ εκλογικής περιφέρειας Πειραιά, συνεχώς από το 1985.  Μετά τις Κοινοβουλευτικές εκλογές της 7ης Μαρτίου 2004, μετέχει σε διεθνή fora και οργανώσεις όπως στην Action Committee on European Democracy (ACED), στην Clinton Global Initiative, στο Interaction Council.

Κατά την περίοδο που ακολούθησε την αποχώρησή του από το Υπ. Εθν. Οικονομίας το 1987, ο Κώστας Σημίτης προσδιόρισε το στίγμα της συνολικής πολιτικής του σκέψης με τη δημοσίευση άρθρων και μελετών. Με την ίδρυση του «Ομίλου Προβληματισμού για τον Εκσυγχρονισμό της Κοινωνίας» (ΟΠΕΚ), δημιούργησε ένα βήμα για τη συζήτηση των θεμάτων του εκσυγχρονισμού. Επί πρωθυπουργίας του επεδίωξε  τον εκσυγχρονισμό της ελληνικής κοινωνίας, ιδιαίτερα για τη σταθεροποίηση και την ανάπτυξη της ελληνικής οικονομίας καθώς και την ενδυνάμωση της θέσης της Ελλάδας στην Ευρώπη και στον διεθνή περίγυρο της.

H Ελλάδα εντάχθηκε το 2000 με την πολιτική αυτή στην Οικονομική Νομισματική Ένωση, επιτυγχάνοντας έναν στρατηγικής σημασίας εθνικό στόχο. Μετά την αντικατάσταση της δραχμής από το ενιαίο ευρωπαϊκό νόμισμα, ακολούθησε η επιτάχυνση των πολιτικών για την πραγματική και κοινωνική σύγκλιση.
Έγινε πράξη η ισόρροπη περιφερειακή ανάπτυξη με την εκτέλεση εκατοντάδων μικρών και μεγάλων έργων υποδομής σε όλη την ελληνική επικράτεια, στο πλαίσιο ενός από τα μεγαλύτερα αναπτυξιακά προγράμματα στην ιστορία της χώρας. Ανάμεσα σε αυτά ξεχωρίζουν το αεροδρόμιο Ελ. Βενιζέλος, η Αττική Οδός, η Γέφυρα Ρίου Αντιρρίου, το Μετρό της Αθήνας, η Εγνατία Οδός.

Ανάλογου μεγέθους ήταν και το πρόγραμμα εκσυγχρονισμού του κοινωνικού κράτους που εφαρμόστηκε με έμφαση στην ανάπτυξη των υποδομών υγείας και πρόνοιας, ιδίως με την κατασκευή δεκάδων νοσοκομείων σε όλη τη χώρα. Στην πορεία προς τον εκσυγχρονισμό,  σημαντικός σταθμός ήταν η αναθεώρηση του Συντάγματος το 2001, η δημιουργία ανεξάρτητων διοικητικών αρχών, ο εκσυγχρονισμός της δημόσιας διοίκησης, το Πρόγραμμα Καποδιστρίας και η αποκέντρωση της κεντρικής εξουσίας, η εξάρθρωση της Οργάνωσης «17 Νοέμβρη»,οι νέες ρυθμίσεις για τις ταυτότητες, οι υποδομές στον πολιτισμό.

Παράλληλα, προετοιμάστηκε η χώρα για την άρτια διοργάνωση των Ολυμπιακών Αγώνων του 2004 στην Αθήνα.
Κατά τη διάρκεια της πρωθυπουργίας του η Ελλάδα ενίσχυσε τη θέση της στα κέντρα λήψης αποφάσεων στην Ευρώπη, ιδιαίτερα στην Ευρωπαϊκή Ένωση και στο ΝΑΤΟ.  Σχεδιάστηκε και ολοκληρώθηκε η ενταξιακή πορεία της Κύπρου. Επιτεύχθηκε η βαλκανική συνεργασία.  Οι ελληνοτουρκικές σχέσεις εισήλθαν για πρώτη φορά σε μια περίοδο συνεννόησης με προοπτική την επίλυση του προβλήματος της υφαλοκρηπίδας σύμφωνα με τις αποφάσεις της Συνόδου Κορυφής του Ελσίνκι.

Ως Πρωθυπουργός, προήδρευσε του Ευρωπαϊκού Συμβουλίου κατά το α΄ εξάμηνο του 2003. Κατά τη διάρκεια της Ελληνικής Προεδρίας, στις 14 Απριλίου 2003 στη στοά του Αττάλου στην Αθήνα, συνετελέσθη η ένταξη στην Ευρωπαϊκή Ένωση των δέκα νέων μελών, μεταξύ των οποίων και η Κύπρος.  Παράλληλα, ολοκληρώθηκαν οι διαδικασίες για το σχέδιο του Ευρωπαϊκού Συντάγματος. Προωθήθηκε η στρατηγική της Λισσαβόνας για την ανάπτυξη και την απασχόληση. Κατέστη εφικτή μια ενιαία στάση των κρατών -μελών της Ευρωπαϊκής Ένωσης στην κρίση που προέκυψε με τον πόλεμο στο Ιράκ.
Μετά το πέρας της πρωθυπουργικής θητείας και ως μέλος του Ελληνικού Κοινοβουλίου συνεχίζει να παρεμβαίνει στην δημόσια ζωή με ομιλίες και αρθογραφία υπηρετώντας τον πάγιο στόχο του την ισχυρή Ελλάδα, την ισχυρή κοινωνία, τον εκσυγχρονισμό και τον ευρωπαϊκό προσανατολισμό τους.

Ο Κώστας Σημίτης μιλά Αγγλικά, Γαλλικά και Γερμανικά. Στο συγγραφικό έργο και το δημόσιο λόγο του Κώστα Σημίτη περιλαμβάνονται κείμενα και βιβλία πολιτικού και επιστημονικού περιεχομένου.