Miután befejezte negyedik szimfóniáját, Brahms még tizenkét évet élt, de ötödiket már nem írt. Aligha csodálkozhatunk, ha a komponista úgy érezte: a szimfónia műfajában nem volt mit hozzátennie a Negyedikhez, melyben a középkori egyházi hangnemek és barokk variációs technikák tökéletes egységbe forrtak a klasszikus szonátaforma keretei között kibontakozó romantikus kifejezéssel.

Az első tétel két fő dallamra épül: egy lírai nyitótémára – amely lényegében nem áll másból, mint egy ereszkedő tercláncolatból – és egy ritmikus második témára. A kettő közötti kontraszt még jobban kiéleződik a feldolgozási részben, ahol a ritmikus téma szenvedélyesen drámai jelleget ölt, míg a lírai dallam valóságos panaszénekké válik. A visszatérés elején Brahms meghosszabbítja a téma első négy hangját, és hozzátesz néhány különleges harmóniát, amitől egy pillanatra mintha megállna az idő. Ez a rejtelmes néhány ütem kétségkívül a klasszikus zene hét csodájának egyike. A visszatérés ezután a megszokott úton halad tovább, de a tétel végén újabb meglepetés vár: egy kóda, ahol Brahms a lírai első témába beoltja a második dallam lendületes energiáját. Így a tétel vége ismét egyfajta szintézis: összefoglalása mindannak, amit korábban hallottunk.

Az első tételhez hasonlóan a második szintén alapvetően melodikus és alapvetően ritmikus anyagokat állít ellentétbe egymással. Brahms egymástól távoli hangnemeket váltakoztat – köztük a középkori eredetű fríget –, és a hatás olyan, mintha rejtélyes, ősi legendák tárulnának elénk. A dallamot általában a mélyebb vonósok (brácsák és csellók) szólaltatják meg, míg a hegedűk és a magas fafúvók inkább kísérő szerepet játszanak. A tétel formája, a kidolgozás nélküli szonátaforma Haydn és Mozart lassú tételeiből ismerős, de Brahms teljesen új hangzásvilágot bontakoztat ki a hagyományos szerkezet keretei között.

A Brahms-szimfóniák egyetlen igazi scherzo-jellegű tétele következik. A tétel mégsem igazi scherzo, Brahms nem is hívta annak, hanem pusztán az Allegro giocoso (gyors és vidám) tempójelzéssel látta el. A háromrészes scherzo-forma helyett szonátaformát alkalmazott, és kerülte Beethoven vagy Mendelssohn scherzóinak könnyedségét vagy a Schubert-scherzóknak a Ländlerre, az osztrák népi táncra utaló hangját. Brahms scherzóinak karaktere általában komolyabb; ennek ellenére a sok váratlan hangsúly és meglepő hangnemváltás egyértelműen a scherzo-hagyományhoz kapcsolja a IV. szimfónia harmadik tételét, amely egyike Brahms legjókedvűbb alkotásainak. Ebben nem kis része van a triangulum vidám csilingelésének, mely hangszer sehol máshol nem szerepel Brahms szimfóniáiban. (Ebben a scherzóban a zenekar még a piccolóval és a kontrafagottal is kiegészül.)

A szimfónia csúcspontja a rendkívüli zárótétel, mely a chaconne vagy passacaglia néven ismeretes barokk variációs formát eleveníti fel. Brahms behatóan tanulmányozta a Bach-kantátákat, és tagja volt az első Bach-összkiadás szerkesztői bizottságának. Így jól ismerte a 150. kantátát is, amelyről a modern Bach-kutatás egyébként megállapította, hogy a legkorábbi Bach-kantáták egyike, ha nem éppen a legeslegkorábbi. Ennek a műnek a végén egy emelkedő skálabasszusra írott passacaglia áll; Brahms ennek a témáját vette át, egyetlen apró változtatással, a szimfónia fináléja számára. A forma lényege a „folyamatos variálás”, vagyis az egyes variációk között nincsen szünet. Minthogy a téma igen rövid, és a variációk meglehetősen gyorsan követik egymást, az egyes variációkat nem külön-külön, hanem egy nagy lélegzetű formába ágyazódva észleljük.

Brahms számára fontos volt, hogy a variációk karaktere a tétel során egyre intenzívebbé váljék. A finálé első fele így állandóan emelkedő ívet ír le. A téma először önmagában jelenik meg a basszusban, majd egyetlen orgonapont kíséretében halljuk. Ezután halk ellenszólam társul a témához; ezt szenvedélyesebb hangú hegedűdallam követi, mely a teljes zenekaron kibontakozó crescendóba torkollik. E tetőpont után a zene lecsillapszik, és a három központi variációban a basszustéma tempója felére lassul (az ütemjelzés 3/4-ről 3/2-re vált). Varázsos fuvolaszóló hangzik fel; a következő variációban a klarinét és az oboa dominál, majd a három harsona veszi át a vezetést. (Ez az a pont, ahol a zene e-mollból E-dúrra vált.) A tétel elejének visszaidézése a szimfónia energikus és tragikus befejezését készíti elő, ahol a passacaglia-téma egyesül az első tétel ereszkedő terctémájával, grandiózus egységbe foglalva az egész szimfóniát.