Kiskorában árvaházba került, miután édesanyja meghalt, s olasz filozófiatanár apját behívták katonának, élete csak az első világháború után rendeződött. Tizenévesen kezdett zongorázni, majd apja vett neki egy használt hegedűt, s ettől kezdve a Monmartre utcáin zenélve egészítette ki a családi kasszát. Az autodidakta hegedűs, aki szaxofonozott és harmonikázott is, idővel már mulatókban és bárokban szórakoztatta közönségét, miközben a párizsi konzervatóriumban tanult zeneelméletet. Kevés szabadidejében némafilmeket kísért zongorán a mozikban (Mozartot kellett játszania, a vidámabbakhoz egy kevés Gershwin is megengedett volt.)
Amadeusnak a dzsesszt felfedezve intett búcsút, amikor 1931-ben megismerkedett Django Reinhardt belga cigány gitárossal. Az ő hatására végleg a hegedű mellett döntött, s megalapították a Quintette du Hot Club de France-t. Az egyik első, csak húrosokból álló dzsesszegyüttes hegedűs, bőgős és három gitáros felállásával a harmincas évek egyik legnépszerűbb európai dzsessz-zenekara lett. A második világháború kitörése előtt Grappelli Londonba költözött, ahol George Shearing vak zongoristával játszott együtt, a háború után ismét Reinhardttal zenélt, de korábbi népszerűségüket nem tudták visszaszerezni, mert a bebop-hullám idején is ragaszkodtak szvingben gyökerező saját stílusukhoz.
Grappelli a 60-as években lett újfent népszerű, amikor olyan dzsesszhegedűsökkel készített lemezfelvételeket, mint Stuff Smith vagy Joe Venuti. A dzsessz régi nagy hagyományainak egyik utolsó reprezentánsa szinte az egész múlt századot végigkoncertezte. Még az sem szegte kedvét, amikor 1991-ben szívritmus-szabályozót kapott, s még 88 évesen is fellépett egy fesztiválon. Késői népszerűségének köszönhetően lett újra elismert a dzsesszhegedű.
1971-ben megismerkedett Yehudi Menuhinnal, akivel több különleges duettet játszottak lemezre. Az együttes munkát Menuhin később úgy jellemezte: Grappelli olyan, mint azok a zsonglőrök, akik tíz tányért feldobnak és mindet elkapják. A legnagyobb dzsessz-zenészekkel játszott együtt, Duke Ellingtonnal, Glenn Millerrel, Oscar Petersonnal vagy éppen Miles Davisszel. Kiváló technikai és improvizációs képessége, elegáns, lírai játéka elkápráztatta közönségét. Neki köszönhetően lett ismét népszerű a dzsesszhegedű, s a dzsesszműfaj első autentikus nem amerikai tehetségének nevezik. Megkapta a francia becsületrendet, beválasztották a hírességek csarnokába, a Jazz Hall of Fame-be, s életművéért Grammy-díjjal jutalmazták.
Stéphane Grappelli 1997. december 1-jén halt meg Párizsban egy sérvműtétet követően.