I sin tid var Johannes Hanssen mest berømt som dirigent og leder for Brigademusikken i hovedstaden. I ettertid er det som komponist av Valdresmarsjen han vil bli husket.
Johannes var den eldste av 8 barn i et hjem fylt med sang og musikk. 8 år gammel ble han med i det lokale musikkorpset, Helgøens Musikforening, som selvlært musikant på kornett og tenorhorn. Samtidig tok han orgeltimer hos organist Ingmar Messelt i Hamar. 1890 ble han, 15 ½ år gammel, elev ved 2. brigades underoffisersskole i Kristiania og fra 1893 musikkelev samme sted. Senere studerte han med Gustav Lange, Catarinus Elling og Iver Holter. 1917 tok han militær musikkinstruktøreksamen med beste karakter.
Som musiker i korpset i 2. brigade var Johannes Hanssen fra starten trompetist, men ble senere en førsterangs solo-basunist. Han avanserte til musikksersjant 1911 og furer 1919; fra 1926 var han musikkløytnant, sjef og instruktør for 2. Divisjons musikkorps. Han var enestående godt likt og respektert, og korpset nådde en meget høy standard under hans ledelse.
Johannes Hanssen søkte avskjed fra Divisjonsmusikken 1934. Årsaken til at han fratrådte fem år før tiden, var at han syntes “det så håpløst ut for militærmusikken”. Nedleggingsspøkelset truet igjen de militære musikkorps, slik det hadde gjort da han overtok. Hanssen kjempet imot, slik alle ledere før og etter ham har gjort, og krisen gikk også denne gang over – etter hans avgang.
Hanssen kom tilbake til korpset i frigjøringsmåneden mai 1945 og ble værende frem til mars 1946. Det var endeløs jubel i hovedstadens gater da han igjen viste seg i spissen for sitt gamle korps, dagens Forsvarets Stabsmusikkorps, Oslo.
Helt fra starten på musikerkarrieren hadde Johannes Hanssen også en karriere i det sivile musikkliv. Han spilte kontrabass, først på Grønlands Folketeater (Olympen) i noen år fra 1893, senere ved Centralteatrets orkester 1910–32 og i Nationaltheatrets orkester i et par år fra 1934, foruten kortere opptredener på Tivoli og Eldorado. 1946–49 spilte han i Radio-orkestret (Kringkastingsorkestret). I flere sammenhenger virket han også som kapellmester. Hanssen utførte også et stort arbeid som gjestedirigent og instruktør for amatørkorps i Norge frem til 1953 og som inspektør for Oslo og Aker kretser av Norges Musikkorps Forbund 1934–50. Han underviste ved Norsk Korrespondanseskole 1923–63 (til sitt 89. år!), i et kurs i musikkteori som han selv hadde utviklet for skolen, og ved Norges Sangerlags sommerkurser 1944–48.
Johannes Hanssen var, i likhet med sin far, sosialt interessert og kjempet for musikernes kår i Norge. Fra 1893 var han medlem og i en årrekke styremedlem i Kristiania/Oslo Musikerforening; han var viseformann 1907 og formann 1908, da kvinner for første gang fikk medlemskap i foreningen. Han var også formann i Norsk Musikerforbund 1916–19.
Hans opus 1 og mest kjente verk er den geniale Valdresmarsj, basert på et hornsignal fra Valdres Bataljon og med 2. tema lik en gammel hardingfeleslått (men egenkomponert!). Trio-delen er en pentaton melodi, også den basert på folkemusikk. Første utkast til marsjen ble gjort 1902; siden ble det å pusse på den i ledige stunder, og helt ferdig var den ikke før to år etter, med førsteoppførelse i Studenterlunden i Kristiania 1904. Marsjen er regnet som en av de beste i verden og er som sådan presentert i diverse plateinnspillinger, bl.a. med Boston Symphony Orchestra/Boston Pops. Johannes Hanssen er også kjent for sin Olympiafanfare, som han skrev til de olympiske vinterleker i Oslo 1952, basert på folkemelodien “Han Mass og han Lass”. Hanssen så imidlertid ikke på seg selv som komponist, og hans verkliste omfatter bare ca. 20 numre.
Johannes Hanssen hadde en svært god hukommelse og var et oppkomme av muntre historier fra sitt lange musikerliv. Det var en fest å høre ham fortelle, og bl.a. NRK gjorde bruk av dette flere ganger. Hanssen ble belønnet med Kongens fortjenstmedalje i gull 1946 og med Sølvtrompeten, Norges Musikkorps Forbunds høyeste utmerkelse, 1949. Han var ridder av 2. klasse av Finlands Vita Ros' orden, æresmedlem i Norsk musikerforbund og innehaver av Nordisk Musiker-Unions ærestegn. Han døde 1967.