Etter greske sagn var Athen anlagt av den første kongen, Kekrops, som var oppstått av jorden. Det opprinnelige by- og borganlegg fantes på Akropolis, som alt fra mykensk tid (ca. 1500 f.Kr.) var befestet med svære murer. Athene var antakelig stedets borggudinne. Etter hvert dannet det seg en by i ly av borgfjellet, først på vestsiden, senere også i nord, kvarteret Kerameikos, dvs. «Pottemakerkvarteret». Vest for Akropolis lå to mindre høyder, Areopagos og Pnyx, sete for domstol og folkeforsamling. 480 inntok og ødela perserne Athen. Etter seirene ved Salamis og Plataiai ble byen bygd opp igjen og murene gjenreist, især takket være Themistokles. Snart bandt også de «lange murer» Athen sammen med Pireus. Midtpunktet for byens liv ble agora, torget nordvest for Akropolis.
Praktfulle byggeforetagender tok især fart under Perikles. Hans tid (450–430) er Athens glansperiode (innbyggerantall kanskje ca. 320 000, hvorav ca. 40 000 var mannlige fullborgere og slavebefolkningen utgjorde en tredjedel) da byen litterært og kunstnerisk var Hellas' sentrum, «Hellas i Hellas». I templene på Akropolis og på plassene mellom dem fantes en mengde kunstverker. På sørøst-skrenten av fjellet ble det innrettet et stort teater, Dionysosteatret, ombygd i 4. årh. f.Kr. av Lykurgos. Nordvest for Akropolis lå et dorisk tempel, som ofte feilaktig har vært kalt Theseustempelet, men antakelig var viet Hefaistos. Det er det best bevarte av alle greske templer i Hellas og Lilleasia, noe yngre enn Parthenon.
I romertiden hadde Athen en blomstringsperiode på 100-tallet e.Kr. under Hadrian og Antoninene, først og fremst som universitetsby. Da fullførte Hadrian det kolossale Zevstempel i bydelen mot sørøst, og da bygde Herodes Atticus teateret Odeion sørvest for Akropolis. Men fra Justinians tid gikk det helt tilbake med byen. Templene ble omdannet til kirker, filosofskolene ble lukket 529. Athen ble en liten provinsby. Under det fjerde korstog slo en frankisk hertugslekt seg ned i borgen. 1458 erobret tyrkerne Athen. 1687 bombarderte venetianerne byen og ødela en stor del av Parthenon og Propyléene. Etter 1834, da Athen igjen ble hovedstad, beskyttes ruinene omhyggelig, og store utgravninger er foretatt, både på Akropolis og flere steder i byen. Mest kjent fra senere år er de omfattende amerikanske utgravningene på det gamle torget. Mange land har arkeologisk skole eller institutt i Athen, også Norge (opprettet 1989).
Athen arrangerte de første olympiske sommerlekene 1896, samt olympiske «jubileumsleker» 1906. Utnevnt til Europas kulturby 1985. Igjen arrangør av olympiske sommerleker 2004.