Folketallet i Vest-Agder økte bare langsomt fra sist i forrige århundre til de første etterkrigsårene, fra 78 500 i 1875 til 96 200 i 1950. Dette gir en vekst på gjennomsnittlig 0,3 % årlig mot 0,8 % i landet som helhet. Den svake veksten i denne perioden skyldes stagnasjon eller tilbakegang i næringslivet mange steder i fylket, noe som førte til stor utflytting. I indre strøk spilte strukturendringene i landbruket en stor rolle og ble særlig karakterisert ved nedlegging av mange små bruk; særlig typisk var nedleggingen av heiegårder. I kyststrøkene var befolkningsutviklingen særlig preget av tilbakeslaget for skipsfarten ved overgangen fra seil- til dampskip, forsterket ved ringvirkningene dette skapte for beslektet virksomhet. Fylket hadde hele denne perioden stor utflytting til Amerika; denne var av en viss betydning helt frem til 1960-årene. Også tettstedene i fylket vokste svakere frem til den andre verdenskrig enn tettstedene i landet som helhet, 1,1 % i gjennomsnitt per år i Vest-Agder 1875–1950 mot 1,8 % i hele landet. Relativt svak tettstedsutvikling hadde også Kristiansandsområdet, her økte tettstedsbefolkningen med gjennomsnittlig 1,3 % årlig 1875–1950.
Etter den annen verdenskrig har derimot Vest-Agder hatt en vekst i folketallet klart over landsgjennomsnittet: 0,9 % i gjennomsnitt per år i perioden 1950–2006, mot 0,6 % i landet som helhet. Fylket har dermed økt sin andel av landets befolkning etter krigen, fra 3,0 % i 1950 til 3,5 % i 2006. Befolkningen viste særlig sterk vekst i 1960-årene med 1,3 % årlig (0,8 % i hele landet). I tiårsperioden 1996–2006 hadde Vest-Agder en befolkningsvekst noe over landet som helhet, henholdsvis 0,8 % og 0,6 %.
Det er særlig utviklingen i Kristiansandsområdet (kommunene Kristiansand, Vennesla, Søgne og Songdalen) som ligger bak fylkets store befolkningsvekst etter krigen. Her ble folketallet mer enn fordoblet 1950–2006, fra 49 170 innb. til 104 660 innb. Ellers i fylket har befolkningsutviklingen vært relativt moderat, og i flere kommuner, særlig i indre strøk, har folketallet periodevis gått tilbake. Karakteristisk for de regionale forskjellene er at de fleste innlandskommunene, med unntak av forstadskommunene Songdalen og Vennesla samt kraftkommunen Sirdal, i 2006 hadde et klart lavere folketall enn i 1950. Deler man fylket i regioner etter hoveddalførene, hadde imidlertid alle disse høyere folketall i 2006 enn i 1950, selv om noen av dem i denne lange perioden tidvis kan ha hatt tilbakegang i folketallet. I tiårsperioden 1996–2006 synes befolkningsutviklingen å være svakere jo lenger vest i fylket man kommer. I denne perioden økte således folketallet i Kristiansandsområdet med 10,7 %, i Mandalen/Audnedal (kommunene Mandal, Lindesnes, Audnedal, Marnardal og Åseral) med 5,4 %, i Lista/Lyngdalen (kommunene Farsund, Lyngdal og Hægebostad) med 3,5 % og i Flekkefjordområdet (kommunene Flekkefjord, Kvinesdal og Sirdal) var det en nedgang på 0,5 %. Etter dette øker Kristiansandsområdet sin andel av fylkets samlede folketall, mens andelen i de øvrige regionene går tilbake. Dette er en utvikling som har pågått i hele dette århundret, og bare siden 1950 er Kristiansandsområdets andel økt fra 50,3 % til 64,5 % (2006). De øvrige tre hovedområdenes andeler i 2006 varierte fra 10,0 % i Flekkefjordområdet til 14,3 % i Mandalen/Audnedalen.
De fleste tettstedene ligger ved kysten; klart størst er Kristiansand, landets åttende største tettsted, med 64 930 innb. (2006). Øvrige tettsteder med over 3000 innb. (2006) er Vennesla (11 009), Mandal (10 281), Søgne (7650), Flekkefjord (5682), Lyngdal (3753) og Farsund (3105).