Johan Holtsmark var professor i fysikk ved Norges tekniske høyskole og senere ved Universitetet i Oslo i mer enn 40 år. Han er kjent for tidlige arbeider innen røntgenspektroskopi, bølge- og kvantemekanikk, som akustiker og for oppbygging av forskning og undervisning i eksperimentell elektronikk, kjernefysikk og faststoff-fysikk.
Holtsmark vokste opp i Kristiania og Ås i et hjem med vitenskapelige og kulturelle interesser. Faren, Gabriel Holtsmark, var kjent som pedagog, fysiker og forsikringsmatematiker og utgav bl.a. et læreverk i fysikk, som Johan Holtsmark senere reviderte. Johan delte familiens interesser for kunst og litteratur og ble bl.a. en meget dyktig fiolinist; en interesse som kom til syne i hans virksomhet som akustiker. Mens han bodde i Ås, fikk han eksperimentere i sin fars fysikklaboratorium og fattet interesse for fysikk. Etter middelskolen i Ås gikk han på Kristiania katedralskole og tok examen artium 1911. Deretter studerte han et års tid ved universitetet i Kristiania før han, som faren før ham, reiste til Würzburg for å arbeide hos den berømte tyske fysikeren Wilhelm Wien. Her undersøkte han lysutsendelse fra katodestråler i hydrogen og publiserte en artikkel om dette emnet 1914. Samme år fullførte han et arbeid inspirert av professor Carl Størmer om elektroners avbøyning i magnetfelt.
Tilbake i Kristiania var Holtsmark 1914–16 assistent for professor O. E. Schiøtz. 1916–17 oppholdt han seg hos professor V. Bjerknes i Leipzig, der han arbeidet med aerodynamiske problemer sammen med H. U. Sverdrup. Deretter reiste han til professor Peter Debye i Göttingen. Her gjennomførte han eksperimenter for sin doktorgradsavhandling Über den Intensitätsverlauf in Serienspektren bei der Erregung mit Kathodenstrahlen, som han fikk godkjent ved universitetet i Kristiania uten først å ha avlagt embetseksamen. Han ble universitetsstipendiat 1919, og etter et studieopphold i London ble han 1920 ansatt som amanuensis under professor Lars Vegard.
1923 ble Schiøtz etterfulgt av Sem Sæland, som da var professor ved NTH i Trondheim, og Holtsmark overtok det ledige professoratet ved NTH. Han var opptatt av den nye utviklingen i teoretisk fysikk, spesielt i Erwin Schrödingers bølge- og kvantemekanikk. Han innledet et samarbeid med svensken Hilding Faxén om spredning av elektroner i gasser. Deres partialbølgemetode, publisert 1927, er blitt stående som et av bølgemekanikkens klassiske arbeider og inngår fremdeles i de fleste lærebøker i kvantemekanikk.
Fra slutten av 1920-årene skiftet Holtsmarks interesse over til akustikk og elektroteknikk. Han opprettet et akustisk laboratorium for lydmåling og ble ekspert på lydisolasjon og bygningsakustikk. Han tok også initiativ til forskning i eksperimentell kjernefysikk. Med bistand fra Odd Dahl, som hadde gjort seg bemerket for sitt bidrag til byggingen av en Van de Graaff-akselerator i USA, satte Holtsmark 1935 i gang byggingen av en slik akselerator ved NTH.
Holtsmark hadde en enestående evne til å trekke til seg unge medarbeidere og gav dem muligheter for å utvikle seg selvstendig. En rekke av de ingeniørene som fikk sin utdannelse hos ham på NTH, kom til å prege både den elektroniske industrien og forskningen i fysikk i Norge i mange år. 1942 ble han utnevnt til professor ved Universitetet i Oslo, også denne gang som Sælands etterfølger. Han fikk med seg en del av virksomheten fra NTH; Roald Tangen, som hadde hatt ansvaret for Van de Graaff-akseleratoren ved NTH, fikk flytte den med seg og bygge den opp på ny i Oslo. Akustikeren Helmut Ormestad ble satt til å bygge opp en ny akustikkavdeling ved UiO. Da krigen sluttet, var begge disse virksomhetene kommet i gang.
Holtsmark selv deltok aktivt i forskningsgruppen i akustikk og fikk i begynnelsen av 1950-årene i gang forskningen innen det nye feltet faststoff-fysikk. Han engasjerte seg for opprettelse av et eget forskningsinstitutt for anvendt forskning, som skulle støttes økonomisk av industrien, det som i slutten av 1940-årene kom i gang med navnet Sentralinstituttet for Industriell Forskning. Han innså at Norge var et for lite land til å gjøre seg gjeldende innen kjernefysikk på lengre sikt og engasjerte seg for etablering av det nordiske instituttet Nordita i København og det europeiske laboratoriet for høyenergifysikk, CERN, i Genève. Holtsmark gikk av som professor ved nådd aldersgrense 1964.
Holtsmarks undervisning både ved NTH og ved UiO var utradisjonell. Forelesningene var preget av eksperimenter, og han var mer interessert i å gi studentene en dypere forståelse av fysikk enn å gi dem eksakte kunnskaper. På samme måte var han ved muntlige eksamener mer opptatt av hva studentene hadde forstått enn hva de husket av detaljer.
Holtsmark interesserte seg for naturvitenskap og kultur i videre forstand. Han studerte de greske naturfilosofer og skrev flere artikler om dem. Han var en ivrig blomsterdyrker, som også drev med intervallfotografering av blomster for å kunne iaktta hvordan de utviklet seg i blomstringsperioden. På sine reiser besøkte han botaniske hager og fikk med seg eksotiske planter som han med hell dyrket i sitt eget drivhus. Han likte å reise, både for å holde kontakt med kolleger ved utenlandske læresteder og for å beundre europeisk kultur på forskjellige områder, og han hevdet ofte at de som var vokst opp etter den første verdenskrig, manglet virkelig kulturforståelse.
Johan Holtsmark var medlem av Det Norske Videnskaps-Akademi fra 1925 og Det Kongelige Norske Videnskabers Selskab fra 1926. Han mottok Fridtjof Nansens belønning 1969.