A londoni születésű Maurice Micklewhite hamar otthagyta az iskolát, inkább katonának állt. Állomásozott Németországban, az ötvenes évek elején a koreai háborúban harcolt. Színészi tehetségét először színpadon próbálgatta, akkor még Michael Scott művésznéven. Amikor ügynöke telefonon közölte vele a szomorú tényt, hogy már van egy ilyen nevű színész, szeme a közelben lévő mozi bejáratára tévedt, ahol épp a Zendülés a Caine hadihajón című film ment és megszületett új neve. (Viccelődve később megjegyezte: ha a másik irányba nézett volna, Michael 101 kiskutyaként ismernék.).
Az áttörést az 1964-es Zulu című film hozta meg számára, ezt követte Az Ipcress-ügyirat, amelyben először bújt Harry Palmer kém bőrébe. Vidámabb műfajok felé evezve játszotta el 1966-ban az Alfie nőcsábász főszerepét, majd jött az azóta szintén kultfilmmé vált Olasz meló. A hetvenes éveket a Get Carter bosszúálló fivéreként kezdte, 1972-ben Laurence Olivier oldalán A mesterdetektívben kapott főszerepet. Kezdetben olyannyira tartott a színészlegendától, hogy megkérdezte, hogyan szólítsa. A tréfás válasz ez volt: először elvárja a Lord Olivier-t, de másodszor már szólíthatja Larrynek. Ebben az évtizedben olyan filmekben játszott, mint a Sean Conneryvel forgatott Aki király akart lenni, vagy A híd túl messze van. A szakmai elismerések ellenére B-kategóriás, nagyot bukó akció- és katasztrófafilmeket is elvállalt, amit anyagi helyzetének biztosításával indokolt.
A csúcs felé a Rita többet akar - Szebb dalt énekelni című filmmel indult el újra. A nyolcvanas évek azonban a Hannah és nővérei miatt maradt emlékezetes számára, amiért a legjobb férfi mellékszereplő kategóriájában Oscar-díjat kapott. A díjátadón nem jelent meg, mert éppen a később hatalmasat bukó Cápa 4 forgatásán dolgozott. A cápás rettenetről szólva elmondta: "Soha nem láttam a filmet, biztos borzasztó. A gázsiból épített házam viszont lenyűgöző".
Bár korábbi alakításai miatt kultikus figurának számított, a kilencvenes évek első felében elkerülték a nagy sikerek, az ismételt visszatérés az 1998-as Little Voice-ig váratott magára, amiért Golden Globe-díjat kapott. Egy évvel később az Árvák hercegében nyújtott alakításáért újabb Oscar-díjjal gazdagodott, szintén a legjobb férfi mellékszereplő kategóriában. 2002-ben A csendes amerikai című filmben nyűgözte le ismét a szakmát és a közönséget, a Graham Greene regényéből készült film Oscar-, Golden Globe- és BAFTA-jelölést hozott számára.
A teljesítményéért lovaggá ütött (és ezért hivatalosan Sirként szólítandó) színész mostanában Christopher Nolan rendező mellett kötelezte el magát, a Batman: kezdődik, és A tökéletes trükk után az újabb denevéremberes filmhez adta a nevét mint a "bőregér" komornyikja. Caine régebbi filmjei közül hármat is újra forgattak, többen ő maga is feltűnik. A jó humorú színész nem egyszer meg is jegyezte: örülne, ha a rosszakkal is ezt tennék...