Bronxi lengyel zsidó családba született. A Yale Egyetem drámaszakán végzett, de jól csengő diplomája ellenére Hollywoodban a szamárlétra alján, a Warner Brothers rajzfilmrészlegének asszisztenseként kezdte.

1957-ben a Paramount Pictures-től kapott először produceri feladatokat, első nagy sikere az 1962-es Ne bántsátok a feketerigót című dráma volt. A harmincas évek fajgyűlölettől átitatott Alabamájában játszódó történet főszereplője, Gregory Peck alakításáért Oscar-díjat is kapott. A film érdekessége, hogy ebben az alkotásban kezdte karrierjét Robert Duvall.

Rendezőként első filmje az 1969-ben forgatott The Sterile Cuckoo volt, amelyben a női főszerepet Liza Minelli játszotta. 1971-ben következett a "paranoia-trilógiaként" is emlegetett sorozat első darabja, a Klute, Donald Sutherland és Jane Fonda főszereplésével. A magánnyomozó és a call girl kapcsolatát egy nyomozás fényében bemutató krimi Oscar-díjat hozott Jane Fonda számára. A közönség és a kritikusok által is jól fogadott filmet a Warren Beattyvel készített Parallax-terv követte, majd a trilógia az 1976-ban készült Az elnök embereivel lett teljes. A Watergate-botrányt feldolgozó filmben Robert Redford és Dustin Hoffman bújt a Nixon elnök bukásához vezető politikai botrányt felgöngyölítő Bob Woodward és Carl Bernstein bőrébe.

A hetvenes évek sikereit Pakula 1982-ben a Sophie választása című drámával fejelte meg, William Styron könyvsikerének feldolgozásában Meryl Streep, Kevin Kline és Peter MacNicol játszották a holokauszt-túlélő Sophie történetének főszerepeit. Alakításáért Meryl Streep második Oscarját vehette át. A kilencvenes években Pakula "visszatért a tárgyalóterembe", Az ártatlanságra ítélve című krimiben Harrison Fordra, Raul Juliára és Greta Scacchira bízta a főszerepeket. 1992-ben ismét Kevin Kline-nal dolgozott együtt, A felelősségük teljes tudatában után pedig jött a Julia Roberts és Denzel Washington által fémjelzett A pelikán ügyirat. A Grisham-műből készült krimi hatalmas siker lett. A rendező utolsó filmje a Harrison Forddal és Brad Pitt-tel forgatott Az ördög maga lett.

Alan J. Pakula filmjeibe illő tragikus baleset áldozata lett 1998 novemberében. Egy gyorsforgalmi úton autózva egy másik kocsi olyan szerencsétlen módon hajtott rá egy, az úttesten heverő kétméteres fémrúdra, hogy az felpördült, áttörte Pakula kocsijának szélvédőjét, és halálos fejsérülést okozott a producernek.

Pakula egy barátja azt mondta róla: "Nem volt az a sztárcsináló fajta, mert a filmjeiben szereplő színészek többnyire már sztárok voltak. De ha ezeknek a művészeknek a legkiválóbb alakításait keressük, akkor azokat sokszor Alan J. Pakula filmjeiben találjuk meg".