Het is halverwege de jaren veertig. Don Vito Corleone (gespeeld door Marlon Brando) is het hoofd van de New Yorkse maffiafamilie Corleone. Tradities en respect zijn de codewoorden in deze wereld. De film begint tijdens de bruiloft van Connie Corleone en Carlo Rizzi. Het feest wordt in de tuin van het complex van de familie Corleone gehouden. Doordat z'n dochter trouwt op deze dag, kan Vito Corleone vandaag geen diensten weigeren - aldus een oud Siciliaans gebruik.
De eerste die de Don om een dienst vraagt is Bonasera (met deze scene begint de film). Bonasera heeft een dochter; voorheen een mooi meisje. Ze is echter verkracht en misbruikt door twee Amerikaanse jongens. Toen de rechtszaak hiervoor diende werden de daders slechts veroordeeld tot een voorwaardelijke straf. Bonasera vond dit geen gerechtigheid en zei tegen zijn vrouw "voor gerechtigheid moeten we naar Don Corleone".
Ondertussen arriveert Michael Corleone - de jongste zoon van Don Vito Corleone - op het feest. Hij heeft een meisje meegenomen; geen Italiaanse. Michael heeft in de Tweede Wereldoorlog bij de mariniers gediend en is net terug uit Europa. Michael wil niets met de illegale praktijken van de familie te maken hebben, in tegenstelling tot zijn oudere broer Sonny (Santino, gespeeld door James Caan).
Op een dag vraagt drugsdealer Virgil Sollozzo Don Vito Corleone om bescherming. Don Vito houdt echter vast aan zijn oude normen en waarden en is zeer tegen drugs. Hij weigert dan ook om op het voorstel van Sollozzo in te gaan. Zijn advocaat en pleegzoon Tom Hagen (Robert Duvall) en Sonny vonden dat de familie er wel op in moest gaan. Omdat Sonny tijdens de ontmoeting zijn mond voorbij praat, ziet Sollozzo zijn kans om met Sonny als Don wél tot een overeenkomst te komen. Daarom beraamt hij een aanslag op Don Corleone.
Don Vito Corleone raakt zwaargewond bij deze aanslag rond Kerstmis. Sonny zint meteen op wraak, maar hij weet nog niet precies hoe. Bij een vergadering waar de belangrijkste pionnen van de familie aanwezig zijn, zegt Michael dat hij degene is die wraak zal nemen. Michael doet dit dan ook en hij vermoordt de aanstichters (Sollozzo en de corrupte Politiechef McCluskey). Michael vlucht naar Sicilië, waar hij verliefd wordt en trouwt. Zijn vrouw wordt echter gedood door een autobom die voor hem bedoeld was. Don Vito Corleone is inmiddels hersteld en heeft vrede gesloten met zijn rivalen. Broer Sonny is verraden door Connies echtgenoot en wordt vermoord in een scène die gebaseerd is op het einde van Bonnie and Clyde (1967). Als Michael na een aantal jaren terugkeert naar New York trouwt hij met Kay. Michael is na de dood van Sonny de enige die de leiding van zijn vader kan overnemen. Hij zegt Kay toe dat de familie binnen vijf jaar legaal zal zijn.
Na de dood van zijn vader neemt Michael zijn rol over. Tijdens de doop van zijn neefje en hierdoor zijn peetzoon, Connies tweede kind, slaat Michael zijn slag om de macht te grijpen in de maffiawereld. Terwijl Michael bij de doop aanwezig is, vermoorden zijn mensen de belangrijkste vijanden van de familie. Deze zijn de hoofden van de andere van de "vijf families" in New York. Deze bestaan uit de (fictieve) don Barzini, don Cuneo, don Stracci en don Tattaglia. Ook Connies man Carlo Rizzi wordt na de doop gewurgd, nadat hij bekent Sonny te hebben verraden. Als Kay Michael vraagt of hij iets te maken heeft met de dood van Carlo, zegt hij haar van niet. Hij liegt. Kay is opgelucht, maar ziet aan dat de nieuwe caporegimes hun respect aan hem tonen door zijn hand te kussen en hem aan te spreken met Don Corleone.