Paolo Borghese, sønnesønn av Camillo Filippo Ludovicos bror, ødela slektens formue ved byggespekulasjoner og måtte selge dens berømte kunstsamlinger. Pave Leo 13 kjøpte familiearkivet, og den italienske stat Villa Borghese med mesteparten av kunstsamlingene, som ble overdratt byen Roma, mens noe ble tilbake i Palazzo Borghese.