Vestfolds bosetning går langt tilbake i tiden. Rike oldtidsfunn og gamle stedsnavn vitner om tidlig bosetning. Middelalderkirker og kongesagaer peker på Vestfolds ledende posisjon både kulturelt og økonomisk. De mest kjente oldtidsfunn ligger på og utenfor Raet. På Mølen er det gravrøyser fra bronsealderen, Kaupang ved Viksfjord (det gamle Skiringssal) har et stort gravfelt fra vikingtiden, gravfelter er det også ved Elgesem og Fevang i Sandar. På Gokstad i Sandar og ved Oseberg i Slagen ble det gjort verdifulle utgravninger av skipsgraver fra vikingtiden (Gokstadskipet og Osebergskipet). Ved Borre kirke i Horten kommune ligger den fredede Nasjonalparken, som er Nord-Europas største samling av graver fra vikingtiden. Konger av Ynglingeætten skal være gravlagt her.
Dagens bosetning i Vestfold er sterkt knyttet til kystområdet. Alle byene ligger ved kysten, og tettstedsbefolkningen i kommunene mellom kysten og Raet innenfor omfatter om lag 7/10 av fylkets folkemengde. Vestfold er landets tettest befolkede fylke etter Oslo og Akershus (103,5 innb. per km2 landareal 2006), og fylket har etter Oslo/Akershus og Rogaland den høyeste tettstedsandelen (83,7 % 2006). Det største tettstedet i fylket er Tønsberg med 45 447 innb. (2006). Andre store tettsteder er Sandefjord (39 849 innb.), (23 164 innb.), Horten (17 723 innb.), Holmestrand (6141 innb.) og Stavern (5611 innb.).
Siden den annen verdenskrig har Vestfold hatt en noe sterkere befolkningsvekst enn landet som helhet, i gjennomsnitt 0,8 % årlig 1950–2006 mot 0,6 %. Det har vært vekst i folketallet i alle fylkets hovedområder; på kommunenivå har bare Lardal lavere folketall enn i 1950. Den nordre delen av fylket samt Tønsberg og Sandefjordsområdet har i etterkrigstiden stort sett hatt økte andeler av fylkets folkemengde; Hortens- og Larviksområdet har i størstedelen av denne tiden hatt synkende andeler. Fylkets folketall passerte 200 000 i 1992 og var 2006 på 222 104.