Ansgar Guldberg hadde stor betydning for utviklingen av norsk mannskorsang, og han satte dype spor etter seg som mannskordirigent.
Tidlig ønsket han å bli musiker av yrke, men faren oppfordret ham til å ta embetseksamen først, i likhet med brødrene. 1896 avla han cand.min.-eksamen og kom hele livet til å arbeide som bergingeniør, konsulent eller direktør for ulike bergselskaper, hovedsakelig i Kristiania.
Det var likevel musikken han brant for. 1888, året før han ble student, meldte han seg inn i Den norske Studentersangforening. Ved siden av studiene fordypet han seg i musikkteori og tok instruksjon i solosang hos Fritz Arlberg. I 1890-årene dannet han flere mannskvartetter som avløste hverandre, bl.a. Brage og Glade Sangere. Dobbeltkvartetten Guldbergs Kvartet (1902) gjorde seg bemerket gjennom sine årlige konserter i veldedig øyemed. Noen år senere ble han dirigent for Handelssamfundets Sangforening (fra 1908 Handelsforbundets Sangforening); samtidig ledet han Norsk Ingeniør- og Arkitektforenings sangforening. 1906–07 dirigerte Guldberg Interimskoret, hvis eneste konsert ble en begivenhet i mannskorenes historie; han ville vise at det var mulig for et norsk mannskor å klare de største oppgaver. 1912–16 var han dirigent for Norges første fast organiserte, offentlige kor, Den norske Studentersangforening.
Mest betydelig og best kjent i Guldbergs virke er hans opprettelse og ledelse av Sangselskabet G.A.K. (Guldbergs Akademiske Kor), stiftet 8. mai 1916 “av og for academici til fremme av norsk mandssang”. Gjennom konserter og turneer innenlands og utenlands kastet dette koret glans over norsk akademisk korsang og representerte ofte Norge i Norden og Europa for øvrig. Dertil startet han 1921 elitekoret A capella, som ikke bare bestod av sangere fra det akademiske miljøet. Ved debutkonserten 1923 urfremførte dette koret David Monrad Johansens Draumkvædet.
“Mannssang er det styggeste og det vakreste jeg vet,” sa Guldberg. Han stilte strenge krav til homogen korklang og bevegelighet i rytme, fraseringer, tempo og dramatisk uttrykk, dirigerte uten brede fakter og unngikk omfangsrike virkemidler og stor masseklang. Han fordypet seg i sangenes detaljer, var litterært bevisst og viste lydhørhet for nyanser i teksten, fra det lyriske til det humørfylte. God tekstuttale og poengert foredrag ble vektlagt.
Guldbergs ønske var gjennom korsang å gjøre norsk musikk, diktning og kultur kjent i utlandet. Han foretrakk den intime sjangeren, sanger i kvartettstil, både gamle tradisjonsrike og helt nye. Sanger av Grieg, Kjerulf og ikke minst Bellman vakte atter interesse. Som leder av G.A.K. hadde han det nærmest som prinsipp å unngå det mest kjente repertoar, og han la vinn på å bringe nytt stoff frem. Dette mente han var nødvendig hvis mannskoret skulle ha en sjanse som profesjonell musikkinstitusjon på høyt nivå.
Sangerne opplevde Guldberg både som god kamerat og som eneveldig despot, humørfylt, nervøs og temperamentsfull, vanskelig å tilfredsstille, lett å begeistre. Hans krav til prestasjon og musikalsk nivå førte til at han ble vraket som dirigent for Den norske Studentersangforening 1916. I raseri over styrets manglende forståelse for behovet for ekstraprøver foran korets jubileumskonsert 1915, søkte Guldberg avskjed. Senere trakk han søknaden tilbake, men styret oppfordret ham til å la den stå ved lag, med den begrunnelse at han ikke holdt kunstneriske og musikalske mål. Få uker etterpå etablerte han Sangselskabet G.A.K., snart landets ledende mannskor.
Som dirigent av den nye tid betonet Ansgar Guldberg nødvendigheten av å danne konkurransedyktige elitekor som satset på å synge godt stoff godt. Med ham kom en selektiv og eksklusiv tankegang i fokus. Mannskorsang burde først og fremst bli vurdert som en seriøs kunstgren, mente han, og ikke ut fra dens betydning for det sosiale og åndelige liv i folket, slik det hadde vært vanlig i korsanghistoriens første fase, under påvirkning av 1800-tallets romantiske kulturoptimisme.
Ansgar Guldberg var innehaver av en rekke sangerdekorasjoner og tok initiativet til opprettelse av flere sangerfond. Han ble utnevnt til ridder av 1. klasse av St. Olavs Orden 1920 og var også ridder av Dannebrogordenen.