Ole Sverre var aktiv som arkitekt i over 60 år og tegnet et stort antall kvalitetsbygg. På samme tid mestret han mer enn de fleste arkitekter å ta del i den omfattende tekniske og stilmessige utvikling fra historismen og frem til funksjonalismen.
Ole Andreas Olsen, som han opprinnelig het, tok eksamen på bygningsingeniørlinjen ved Trondhjems Tekniske Læreanstalt 1886 og arbeidet i farens firma i Fredrikstad før han var assistent hos professor Hans Grisebach i Berlin 1887–88. Deretter gikk han på Technische Hochschule Charlottenburg 1888–90. Kort tid etter arkitekteksamen fortsatte han i farens firma, men ble deretter assistent hos arkitekt Holm Munthe. Her deltok han i utbyggingen av Holmenkollen- og Frognerseter-anleggene, foruten jaktslott og stavkirke i Øst-Preussen for den tyske keiser i begynnelsen av 1890-årene. 1898 etablerte han egen arkitektpraksis i Kristiania.
Da flere av Sverres søsken skulle studere i Kristiania, kjøpte faren løkken Petersborg ved Drammensveien. Her oppførte Sverre leiegården Thomles gate 4–6/Drammensveien 44b i tysk-dansk nyrenessansestil, med arkitektens signatur i den polykrome teglfasaden.
Etter at det første Holmenkollen Turisthotel (tegnet av Holm Munthe 1889) ble ødelagt av brann 1895, fikk Sverre i oppdrag å skape det nye Holmenkollen Turisthotel i samarbeid med Gerhard Munthe og Theodor Kittelsen. Huset hadde en avbalansert planløsning og fordeling av bygningsvolumene, og enkelte rom ble utført i en frodig jugendstil, mens eksteriøret gjorde svært flittig bruk av dragemotivet. Bygningen stod ferdig 1896, men ble ødelagt i en ny brann 1914 og ikke gjenreist. Kombinasjonen av jugend- og dragestil gjenfinnes også i Voksenkollen Sanatorium (1900, ødelagt av brann 1919).
1907 vant Ole Sverre og Arnstein Arneberg 2. premie i konkurransen om Kongevillaen på Voksenkollen. Prosjektet innvarslet en ny strømning i norsk arkitektur, hvor interessen for stavkirker og middelalderloft nå ble erstattet av en forkjærlighet for 1700-tallets storgårdsbebyggelse fra bl.a. Gudbrandsdalen, gjerne kombinert med ny svensk trearkitektur. Sverre tegnet senere flere skihytter i Nordmarka og radiostasjonene på Tryvann i Oslo og Stavanger Radio på Nærland, alle gruppert som gårdsanlegg i den samme stil.
Flere av Sverres representative villaer ble prisbelønnet, bl.a. Drammensveien 41 og Drammensveien 89. De er oppført enten i louis seize-stil eller i nordisk nybarokk, f.eks. teglstensvillaene Bjarne Aas gate 5 og 7 i Fredrikstad.
1910 vant Sverre og Arneberg konkurransen om ombygging av Grand Hotel i Kristiania. Her skapte Sverre et av de første store internasjonale palasshoteller i hovedstadens prominente byrom, utført med en huggenstensfasade.
I samarbeid med Edvard Munch ble Sverre arkitekt for Freia A/S og tegnet foajeen og Freiasalen i den nye fabrikkbygningen. Etter å ha tegnet klubbhuset Kongen i Frognerkilen skapte han noe nytt i hovedstadens arkitektur da varehuset Steen & Strøm ble gjenoppført etter brannen 1929 med en funksjonalistisk utformet fasade vendt ut mot hele tre gateløp. Like karakterdannende ble de to tårnaktige forretningsgårdene Storgata 10a og 12 ved inngangen til Skippergata.
Blant Sverres hovedverk regnes de i alt 28 bygningene som ble oppført og ombygd for Den høiere Landbrugsskole (nå Norges Landbrukshøgskole) i Ås i tidsrommet 1896–1924. I motsetning til Holtermanns opprinnelige løsning er Sverres bygninger meget variert utformet.
Mot slutten av 1940-årene arbeidet Ole Sverre sammen med sønnen Haakon om oppføring av boliger for Årdal og Sunndal verk, samt boliger på Snarøya i Bærum.
Ole Sverre var aktiv idrettsmann og gav vederlagsfritt tegninger til mange idrettsbygninger, bl.a. klubbhuset på Bislett. Han var president i Norges Roforbund 1905–20. Han fikk Kongens fortjenstmedalje i gull 1920 og var ridder av Dannebrogordenen og den svenske Nordstjärneorden.