A csodagyerek hétévesen kápráztatta el először a közönséget Mendelssohn hegedűversenyével. Kilencévesen lett a szentpétervári konzervatórium hallgatója, mestere a nagyhírű magyar Auer Lipót volt.
Tizenkét évesen németországi turnéra indult, Szentpétervárott 25 ezer ember előtt adott koncertjén a rendőrségnek kellett megvédenie a rajongóktól. Amikor Fritz Kreisler otthonában zenélt, az őt zongorán kísérő komponista csak annyit mondott az egybegyűlt neves hegedűművészeknek: "Uraim, ezek után akár szét is törhetjük a hegedűinket a térdünkön". Meghívták Amerikába is, a Carnegie Hallban még mindig csak 16 évesen lépett fel. A forradalom elől menekülve úgy döntött, Amerikában marad, 1925-ben megkapta az állampolgárságot.
Még a legszigorúbb kritikusok is "a hegedű császárának" nevezték, nevét a zenei tökély fogalmával azonosították, míves interpretációját, technikai készségét, hangszerének sima hangját emelték ki. A precizitás páncélja alatt felszínre bukó érzelmi intenzitását Itzhak Perlman "olvadt lávaként" jellemezte - ugyanakkor voltak olyanok is, akik kissé mechanikusnak tartották.
Számos lemezfelvételt készített, szerette a kamarazenét is. Arthur Rubinstein zongoraművésszel, illetve Emanuel Feuermann csellóművésszel Beethovent, Schubertet és Brahmsot játszott, a nem mindennapi hármas - a későbbiekben Feuermann helyén Gregor Piatigorskyval - a "millió dolláros trió" néven vonult be a zenetörténetbe.
A II. világháború alatt a zongorán is kiválóan játszó Heifetz dzsesszkoncertekkel szórakoztatta az amerikai katonákat. 1953-ban izraeli turnéján Richard Strauss hegedű-szonátáját műsorára tűzte, a holokauszt után alig néhány évvel azonban az izraeli közönség nem akarta hallani a náci jelképnek tartott és nem hivatalosan betiltott Strauss (és Wagner) műveket. Heifetz nem engedett, "jutalma" az előadások utáni halotti csend volt, Jeruzsálemben még meg is támadták, egy merénylő többször megszúrta jobb karját.
1962-ben a Kaliforniai Egyetem hegedűprofesszorává nevezték ki, tanítványai közül többen is világhírnévre tettek szert. 1972-ben vállműtétet hajtottak végre rajta, amely csak részben volt sikeres. Ettől kezdve nem adott több koncertet, és lemezeket sem vett fel, szűk körben azonban élete végéig játszott.
Birtokában volt az 1714-es "Delfin" Stradivari és az 1740-ben készült "ex David" Guarneri. Utóbbi egy San Francisco-i múzeumban található, s Heifetz végakarata szerint az "arra érdemes" hegedűművészeknek különleges alkalmakkor adhatják oda. Jelenleg a San Francisco Symphony koncertmestere, Alexander Barantschik játszik rajta.
