Apja parasztból lett zenész, fiát ő tanította hegedülni és zongorázni. A szegény Brahms megélhetése érdekében olykor még bordélyokban is játszott, a közönséges környezetben a legenda szerint zenélés közben a kottatartóra helyezett könyveket olvasta. 17 évesen az emigrációba kényszerült Reményi Ede (a szabadságharc idején Görgey hegedűse) zongorakísérője lett, általa került közel a magyar és a cigány zenéhez, s születtek Magyar táncai. A 21 zongorára írt darabból nyolcat hangszereltek is és ma is népszerűek. Egy másik magyar hegedűművész, Joachim József beajánlotta Liszt Ferenchez, de a találkozó sajnálatos módon kudarcba fulladt, mert Brahms elaludt, amikor Liszt frissen komponált b-moll szonátáját játszotta.
Joachim révén ismerkedett meg Robert és Clara Schumann-nal, akiket viszont lenyűgözött Brahms zongorajátéka és minden eszközzel támogatták. A mély depresszióban szenvedő Schumann hamarosan elmegyógyintézetbe került, Brahms pedig lángra gyulladt a nála 14 évvel idősebb Clara iránt. A fiatalkori szenvedély elmúltával is az asszony hű barátja maradt és sosem nősült meg.
Egy ideig Hamburgban élt, női kórust szervezett és vezetett, de hiába pályázott a hamburgi filharmonikusok karmesteri posztjára. 1862-től Bécsben élt, ahol megkísértette Beethoven és Schubert szelleme, s szerette a keringőkirály Johann Strauss zenéjét (egy mondása szerint mindent odaadott volna, ha ő írhatja meg a Kék Duna keringőt).
Életében 121 művét látta el opus-számokkal, a 122-iket halála után sorolták be az életműbe, két ládányi fiatalkori művét ő égette el. Írt kamarazenét, szonátát, dalokat, orgonaműveket és egyházi kórusokat, zongoraversenyeket. Legismertebb alkotása a Német rekviem, a Variációk egy Haydn-témára. Négy szimfóniája közül az első c-mollt Beethoven X. szimfóniájának is nevezik, mivel a finálé főtémája feltűnően hasonlít a IX. szimfónia témájára, egyetlen hegedűversenyének mozgalmas fináléja magyaros hangvételű.
Brahms szemben állt az újromantikus iskolával és a programzenével. Zenéje mentes a külsőséges, érzéki hatásoktól, alapja a melódia és a gazdag harmóniavilág, tökéletesen ötvözte a romantikus kifejezést a klasszikus szerkezettel. Utolsó zenekari műve a hegedűre és csellóra írott a-moll kettősverseny, a záró tételben itt is felfedezhetők a cigányzene jegyei. Kitűnő és egyéni technikájú zongorista volt, Budapesten is többször fellépett.
Sok más zeneszerzőtől eltérően meg tudott élni a muzsikából, bár nem fényűző módon. Szerény ruházatára nem fordított különösebb gondot, kora előre haladtával modora is nyers és tüskés lett, még régi barátaival is összeveszett. Nőies arcát szakállal próbálta takarni, ötvenéves kora után megőszült és meghízott. Napjai nagy részét visszavonultan töltötte, érzelmeit a szavak helyett inkább zenével fejezte ki. 1897. április 3-án halt meg, Bécsben Beethoven és Schubert sírja mellett nyugszik. Neve az irodalomba is átszivárgott, Francoise Sagan nagysikerű - később megfilmesített - regényt írt Szereti Ön Brahmsot? címmel.
