Orosz anyja és lengyel apja felmenői között található magyar és cseh is (állítólag dédapja Falk Miksa író, politikus volt). Egyik szemét hároméves korában veszítette el rákbetegség következtében, az ennek helyén lévő üvegszemnek köszönheti különös nézését. 15 évesen tengerésznek akart állni, de mivel látáshibája miatt hajószakácsnál feljebb nem vitte, inkább hazatért. Az iskola mellett foglalkozott rockzenével, diploma után a CIA-hoz jelentkezett, de elutasították. Végül egy költségvetési hivatalban kötött ki, a robot unalmát színészkedéssel enyhítette. 1955-ben már a Broadway-n szerepelt, de filmszínészi próbálkozásait kudarc övezte. Kezdetben még szerződést sem kapott, a Columbia stúdióból például így rúgták ki: "ennyi pénzért kétszemű színészt is kapunk".
Lassan mégis kamera elé engedték, s 1960-ban már Emmy- és Oscar-díjra is jelölték a legjobb férfi mellékszereplő kategóriában, ez korábban még senkinek sem sikerült. Másodszor (és utoljára) a következő évben ajánlották a filmvilág legrangosabb kitüntetésére, Frank Capra Egy maréknyi csoda című filmjének szarkasztikus testőréért. Bár ezt nem kapta meg, 1962-ben az Emmy-díjat hazavihette, e trófeából öt áll vitrinében.
1968-ban osztották rá az egész pályafutását meghatározó Columbo tévésorozat címszerepét. Az álmos tekintetű, kócos hajú nyomozó hadnagy legfőbb ismertetőjele a gyűrött ballonkabát, szájában mindig szivar fityeg, járása lassú, kocsija viharvert és mindig elromlik. Távozáskor az ajtóban visszafordulva tesz megjegyzést, amely zavarba hozza a gyanúsítottat. Columbo esetlenségével hódít, ám a megtévesztő külső mögött következetesség, sziporkázó logika és intelligencia lapul. A nyomozás során mindig szóba hozza feleségét, akit soha senki nem látott - illetve mégis, készült egy mérsékelten sikeres sorozat, amelyben Mrs. Columbo nyomozott. Falk a szerepért négy alkalommal kapta meg az Emmy, egyszer az Arany Glóbusz-díjat.
Peter Falk azonban remek színész is, aki a legnevesebb rendezőkkel forgatott. John Cassavetes-szel készítette a Férjek és az Egy hatás alatt álló nő című drámát, Wim Wenders-szel a Berlin felett az ég és a Távol és mégis közel című filmeket, Robert Altman A játékosában magát alakítva improvizált. Ezt követte a Neil Simon darabjából készült a Napsugár fiúk című vígjáték Woody Allennel, a Vitathatatlan című akciófilm, hangját adta a Cápamese című animációs filmhez, utolsó munkája a Next - A holnap a múlté című thriller. 1972-ben Tony-díjat kapott Neil Simon A 88. utca foglya című színművében nyújtott alakításért.
Amikor 1996-ban a francia Művészeti Érdemrend lovagja lett, kissé ironikusan azt válaszolta a Columbo sorozat folytatására vonatkozó kérdésre, hogy a figurát öregen is el tudja képzelni. Legfeljebb rossz hallására hivatkozva megismételteti gyanúsítottaival a mondatokat, vagy a lépcsőn lemenetelhez kér tőlük segítséget. Aztán mégis készült folytatás, a legutóbbi 2003-as epizódban a főszerep mellett a produceri munkákat is magára vállalta.
Peter Falkról 2005-ben utcát neveztek el New York közeli szülővárosában, s az utcanév tábláról az avatáskor nem a leplet, hanem Columbo jellegzetes esőkabátját rántották le. A színész kétszer nősült és két lánya van.
