Gustav Guldberg var professor i anatomi ved universitetet i Kristiania 1888–1908, en viktig periode i fagets utvikling. Han innførte mikroskopi og histologisk teknikk i anatomiske og patologiske undersøkelser, og satte i gang vitenskapelige undersøkelser på en rekke områder. Flere av disse fagfeltene ble videreutviklet etter hans altfor tidlige død av hans elever og av hans elevers elever, bl.a. fysisk antropologi (Alette og Kristian Emil Schreiner), histopatologi (Fredrik Georg Gade) og komparativ nevroanatomi (Jan Jansen). Selv er han internasjonalt best kjent for sine studier av hvalenes anatomi, embryologi og atferd. Disse arbeidene siteres fortsatt i den internasjonale vitenskapelige litteraturen på feltet.
Guldberg ble født i Nannestad, der hans far var prest, som den yngste i en søskenflokk på 10 i farens første ekteskap. Moren døde to timer etter fødselen. Han vokste opp dels i Nannestad og Ullensaker, dels hos en onkel i Fredrikstad. Etter examen artium 1873 begynte han å studere teologi. Mot familiens ønsker og press gav han opp teologistudiet for å studere medisin, men måtte derfor forsørge seg selv som lærer ved siden av studiet, inntil han 1879 ble konstituert som konservator ved Universitetets zootomiske museum (i dag Zoologisk museum på Tøyen). Sommeren 1881 tok han medisinsk embetseksamen og fikk fast ansettelse som konservator.
Like etter embetseksamen drog Guldberg til Stockholm og Uppsala for å lære anatomiske prepareringsteknikker og deretter til Finnmark for å studere hval. På denne tiden foregikk det en intensiv hvalfangst på mange hvalarter fra landstasjoner i Finnmark. Det var derfor lett å skaffe materiale til anatomiske og embryologiske undersøkelser.
De neste 7 årene fortsatte Guldberg målbevisst sin vitenskapelige utdannelse ved å reise til tidens ledende anatomer og histologer i Europa. Han knyttet personlig vennskap med mange av dem, bl.a. darwinisten Ernst Haeckel i Jena. 1886 fikk han opprettet et laboratorium (senere kalt Zoologisk laboratorium) ved Universitetets zootomiske museum. Høsten 1887 ble han konstituert som professor i anatomi ved Karolinska institutet i Stockholm, og et halvt år senere ble han kallet til å overta professoratet. Samtidig fikk han tilbud om å overta professoratet i anatomi i Kristiania, som han til sist valgte, og som han innehadde til sin plutselige død 1908.
Som universitetslærer og instituttbestyrer fikk Guldberg innredet et mikroskopisk laboratorium ved Anatomisk institutt og fikk rekruttert og ansatt en prosektor, Fredrik Georg Gade, til å ta ansvar for histologisk undervisning og forskning. Han tok initiativ til å få opprettet en biologisk stasjon i Drøbak og rekrutterte Kristian Emil Schreiner som bestyrer av stasjonen.
Gustav Guldbergs egen forskning var likevel gjennom hele livet først og fremst knyttet til hvalenes biologi. Allerede som student publiserte han et arbeid om kvitnosen. Senere fikk han Kronprinsens gullmedalje for et arbeid om bardehvalenes nervesystem. Doktoravhandlingen fra 1887 var et komparativt histologisk-anatomisk arbeid om bygningen til et lite område av hjernebarken, den såkalte insula. Sammen med Fridtjof Nansen planla Guldberg en serie undersøkelser av hvalenes embryologiske utvikling. Sammen undersøkte de fostre av nise, og påviste at nisefostre har ytre anlegg til bakben. Dette funnet vakte betydelig internasjonal oppsikt, fordi det var meget relevant som et nytt argument i tidens vitenskapelige diskusjon omkring utviklingslæren. Etter denne undersøkelsen fortsatte Guldberg de embryologiske undersøkelsene av hvalartene alene. Totalt publiserte han 20 større arbeider om hvalenes biologi i engelsk- eller tyskspråklige internasjonale tidsskrifter. Mange av disse er arbeider som fortsatt siteres.
Som professor i anatomi ble det Guldbergs oppgave å delta i de undersøkelsene av gravfunn fra vikingtid og middelalder som ble satt i gang i 1880-årene. Best kjent er hans undersøkelser av skjelettfunnene i Osebergskipet. Etter hans død ble disse undersøkelsene ført videre av hans elever Alette og Kristian Schreiner.
Guldberg var glad i å popularisere sin vitenskap. Allerede som student skrev han artikler om reven i bladet Folkelæsning og holdt foredrag om hvalbiologi for hvalfangere i Finnmark. Senere ble det mange artikler i Naturen. Størst innflytelse hadde likevel hans lille bok Om Darwinismen og dens Rækkevidde og en artikkel i Norsk teologisk tidsskrift, Om menneskets tidligste optræden paa jorden, seet fra naturvidenskabeligt standpunkt. Guldberg var, i likhet med flere av sine søsken, dypt religiøs, men han så ingen motsetning mellom sin tro og en darwinistisk utviklingslære, som også omfattet mennesket som biologisk art, og han argumenterte for dette synet i en rekke populærvitenskapelige arbeider.