Byen Jerusalem nevnes allerede i egyptiske tekster fra 1900- og 1800-tallet f.Kr. og i brevene fra Amarna under navnet Urusalim. Den eldste bosetningen var allerede i sen steinalder og tidlig bronsealder (ca. 3500 f.Kr.). I gammel tid var terrenget gjennom senkninger delt i en vesthøyde og en østhøyde; denne igjen i en nordlig og en sørlig del. På den sistnevnte, sørøsthøyden, lå den eldste by omkring Jebusittborgen eller Sion. Den ble erobret av David, som gjorde den til hovedstad i sitt rike (se Israel I, det gamle Israel, historie). Under den praktelskende kong Salomo fikk Jerusalem en blomstringstid; på den nordlige fortsettelse av sørøsthøyden ble kongens palass oppført, med tilhørende tempel. Til disse nye bygninger, særlig tempelet, ble etter hvert overført betegnelsen Sion, som til slutt ble et religiøst tilnavn til Jerusalem overhodet. Den såkalte eldste bymur stammer utvilsomt fra Salomos tid. Den annen mur, som ble nødvendiggjort ved byens stadige utvidelse mot nord på vesthøyden, stammer fra kong Hiskija (ca. 700 f.Kr.), som også tvers gjennom sørøsthøyden lot bore en tunnel som førte vannet fra Gihon-kilden til et utløp innenfor murene; det kaltes Shiloah. Etter babylonernes erobring av byen i 586 f.Kr. lå den i ruiner inntil jødene vendte tilbake fra eksilet (etter 538); tempelet ble først gjenoppført 515. På 100-tallet f.Kr., under Antiokhos Epifanes, erobret syrerne sørøsthøyden, hvor de anla en festning, som jødene senere rev ned samtidig med at de avskar sørøsthøydens topp.
Under Herodes (37–4 f.Kr.) ble Jerusalem en praktfull by, delvis med gresk preg. Ved den første murs nordvesthjørne lot han bygge sitt staselige palass med de tre massive tårn. Tempelet ble til en prakthelligdom av marmor og gull. Til jødenes forargelse lot kongen også oppføre et teater, en hippodrom osv. Byens fortsatte utvidelse mot nord nødvendiggjorde ca. 40 e.Kr. anlegget av en tredje mur, som imidlertid først ble fullendt da romernes angrep på Jerusalem var umiddelbart forestående. 70 e.Kr. ble byen og tempelet lagt i ruiner av romerne under Titus. Under keiser Hadrian ble Jerusalem romersk koloni under navnet Aelia Capitolina. Under det bysantinske rike ble navnet igjen endret til Jerusalem (324–637). I 614 ble Jerusalem erobret av perserne, 637 av araberne, 1077 av de seldsjukkiske tyrkere, hvis voldsomme fremferd mot de kristne ble et av påskuddene til korstogene. 1099 ble byen hovedstad i korsfarernes kongerike Jerusalem. I 1187 overgav korsfarerne seg til Saladin, grunnleggeren av det islamske ayyubidedynastiet. Han restaurerte Klippemoskeen og al-Aqsa-moskeen. 1244–1517 hadde mamelukkene herredømme over byen, senere tilhørte den de osmanske tyrkere. Dagens murer stammer fra denne tiden.