Az úgynevezett lágy, "soft" rockzene áll a legközelebb hozzá, de nem idegenkedett a poptól sem. Kora szerint a hatvanas évek nemzedékéhez sorolható, de a hetvenes évektől figyeltek jobban rá az emberek.
Bostonban született 1948. március 12-én értelmiségi családban. Négy testvére hozzá hasonlóan zenész lett, saját lemezeikkel szereztek nevet maguknak. Ő maga elsőnek a csellót vette kezelésbe, majd a hatvanas évek elejétől gitározott. Ahogy felcseperedett, a folkzene vonzotta elsősorban, egyik példaképe Woody Guthrie, a legendás folkénekes volt. Danny "Kootch" Kortchmar gitárossal alakítottak folkduót - kapcsolatuk hosszú időn át megmaradt. Fiatal korában kevés zenei sikere volt, ezzel is magyarázható, hogy drogfüggő lett.
Londonban időzve kapcsolatba került az Apple céggel, Paul McCartney és George Harrison közreműködött korai lemezén, amely így sem lett siker.
Első, nevét viselő albuma 1968-as keltezésű, a Sweet Baby James című második korongja többszörös platina. Különösen Fire and Rain című dala nagy siker. A Mud Slide Slim and The Blue Horizon lemezével tovább nyomult a siker útján. Első Grammy-díját 1971-ben nyerte Caroline King You,ve Got a Friend című dalának feldolgozásával. A hetvenes években sorra követték egymást sikeres lemezei, az 1976-ban megjelent válogatásalbuma 11 millió példányban fogyott. Dolgozott rövid ideig Art Garfunkellel, foglalkoztatták a Broadwayn, 1977-ben szaporította Grammy-díjainak számát. Közben feleségül vette Carly Simon ismert énekesnőt.
A nyolcvanas évekre elszürkült. Az 1993-as Live című albumáért ünnepelték ismét (dupla platina lemez lett), majd az új évezredben készített ismét jó lemezeket, további három Grammyvel gyarapodott a gyűjteménye.
James Taylornak számos kitűnő zenészbarátja volt és van napjainkban is. Játszott együtt például Michael és Randy Breckerrel, a kitűnő jazz-zenészekkel, Steve Gadd dobossal, Carole King énekesnővel, zongoristával és dalszerzővel, a Blues Brothersből ismeri Lou Marini szaxofonossal.
Közel ötven lemezt készített az elmúlt évtizedekben. Rendkívül sikeres válogatása jelent meg 1993-ban, 2000-ben, 2001-ben és 2003-ban. Lemezei közül több került a Billboard listáira, ha nem is a csúcsra, dalai közül több listavezető volt a hetvenes években.