moské på Haram al Sharif (den jødiske tempelplassen) i Jerusalem, etter Kaba og Muhammeds grav islams største helligdom, har også stor politisk betydning. Ifølge tradisjonen reist av Omar Ibn al-Khattab på det sted der han lå i bønn etter arabernes erobring av Jerusalem i 636. Etter mange ødeleggelser, tilbygg og forandringer utgjør moskeen i dag et mektig syvskipet byggverk med kuppel over midtskipet og mihraben. Moskeen rommer bl.a. trepaneler fra 700-tallet.
1969 ble al-Aqsa-moskeen brannherjet etter ildspåsettelse. Dette ble den direkte foranledningen til grunnleggelsen av OIC (Organization of Islamic Conference), som regelmessig samler utenriksministre fra arabiske land for å drøfte viktige arabisk-muslimske anliggender.