Johan G. Olsen bygde opp en betydelig skipsmegler- og rederivirksomhet i Kristiansand. Han satset også på industrivirksomhet innen flere bransjer, bl.a. bygningsartikler (parkett).
Olsen vokste opp i Kristiansand, der faren var arbeidsformann på Wildts verft. Han døde da sønnen var to år gammel, og moren satt igjen med fire mindreårige barn. Ved siden av skolen arbeidet Johan på et tobakksspinneri og som piccolo på Ernst Hotel. Etter folkeskole, aftenskole og handelsskole fikk han arbeid som kontorist hos skipsmeglere i Kristiansand, først hos J. O. Svendsen og senere hos Kr. Knudsen. Tradisjonen tro hadde han også kortere opphold i shippingkontorer i London og Bremen før han 1912 etablerte firmaet Johan G. Olsen, som skulle drive med skipsmegling og omsetning av trelast.
Firmaet startet med to kontorer i leide lokaler på hjørnet av Vestre Strandgate/Skippergata. Tømmer til gruveindustrien og skåren last ble kjøpt inn fra distriktet og solgt videre til Frankrike, Belgia og Storbritannia. Dessuten ble eikeved sendt til hermetikkfabrikkene og stav til tønnefabrikkene. Etter hvert overtok Olsen meglingen for flere sørlandsrederier, både når det gjaldt kjøp/salg og befraktning, og han opprettet forbindelser med meglerfirmaer som Fearnley & Eger i Kristiania, Grieg i Bergen og Brødrene Olsen i Stavanger. Firmaet kjøpte også aksjer i de rederiene det hadde som kunder, og var representert i rederienes styrer eller representantskaper.
Johan G. Olsen startet også egen rederivirksomhet. Under den første verdenskrig var det en livlig aktivitet i byen. I løpet av kort tid kunne kursene på enkelte aksjer stige til det femdoble, og utbyttene var eventyrlige. Jobbetiden gav store fortjenester også for Johan G. Olsen, og på kontoret var det 20 ansatte i 1920. Fallhøyden var voldsom da jobbetiden i 1920-årene ble erstattet av krakket i aksjemarkedet og i skipsprisene, samtidig som det ble vanskelig å skaffe skipene frakter. Det ble krise både for byens banker og for firmaet, som måtte innstille virksomheten.
Da oljeselskapet Shell i årene 1927–30 skulle selge ut sine gamle Anglo Saxon dampskip, gav det en ny mulighet for Johan G. Olsen. Kundene var skipsrederne på Sørlandet. Han ble hjulpet i gang av skipsmegler Herman J. Sørensen i Oslo. Samarbeidet mellom de to fortsatte til etter den annen verdenskrig. Shippingvirksomheten ble gradvis utvidet i 1930-årene med kjøp av flere brukte skip og kontrahering av ny tonnasje. Det ble satset både på tank- og tørrlastskip.
Men det Johan G. Olsen vil bli husket for som skipsmegler, er nybyggene i Sverige. Særlig fra 1950-årene til 1980-årene sørget firmaet for en rekke kontrakter der, et avgjørende bidrag til det som er blitt kalt symbiosen mellom sørlandsk skipsfart og svensk verftsindustri.
Omkring 1920 kjøpte firmaet Kjøita Sagbruk og Kristiansand Cementstøberi. Industrisatsingen var begynt. Boen Gård ble kjøpt 1940, og 1953 startet man der med høvling av stavparkett, fra 1966 med produksjon av lamellparkett med selvkonstruerte maskiner. I 1970-årene startet firmaet Theodor Höhns utenfor Hamburg produksjon av lamellparkett etter modell fra Boen, og Johan G. Olsen overtok etter hvert aksjemajoriteten i denne bedriften.
Ved Olsens død 1963 var shippingvirksomheten i firmaet betydelig, og det var lagt et solid fundament for videre satsing innen industrisektoren. Hans tre sønner drev familiebedriften videre etter den oppstakede kursen: Einar G. Olsen tok hånd om shippingdelen, Ragnar Ø. Olsen ledet industrivirksomheten og Leif T. Olsen konsentrerte seg om de tekniske oppgavene – spesielt innen parkettproduksjonen. Fra 1970-årene skaffet familien seg eierinteresser innen en rekke bedrifter, som Sørlaminering, Jiffy Products International, Lillesandsbruket, Gjeving, Randesund Betong, Winge Reisebureau, KMV Boats, Larsen Bygg-innredning (senere Sør-Profil) og Hunsfos Fabrikker. Mesteparten av investeringene var vellykkede, men noen få ble avviklet etter kort tid. Fra 1970 har firmaet også vært aktivt i offshoresektoren både på investerings- og meglersektoren. En egen offshoreavdeling innen JGO Shipbrokers konsentrerer seg om befraktning og kjøp/salg av forsyningsskip, rigger og andre offshoreenheter. Firmaet Johan G. Olsen var også blant stifterne av Kristiansand Dyrepark.
Familien solgte ut 1/3 av aksjene i hovedselskapet Johan G. Olsen A/S 1998. De ulike selskapene innen JGO-Gruppen har (2003) i alt ca. 1500 ansatte. De viktigste områdene på industrisiden er i dag parkett, vekstmedier (Jiffy), bygningsartikler/sement og laminerte konstruksjoner. Gjennom ulike oppkjøp og sammenslåinger er tidligere Kjøita blitt en del av Optimera, med betydelig virksomhet og 1700 årsverk innen byggevarebransjen i Norge og Sverige. Boen Bruk driver en betydelig virksomhet i Litauen. Innen shippingselskapene har det også vært endringer på eiersiden. 2002 solgte JGO Johan G. Olsen North Sea A/S til de ansatte, mens eierandelen i Johan G. Olsen Shipbrokers A/S er gradvis redusert i perioden siden 1990 og vil bli helt avviklet 2004.