I Egypt fantes allerede flere tusen år før Kristus provinsmerker i plastiske standartformer. Sumeriske bystater i Mesopotamia hadde i 3. årtusen f.Kr. bymerker i form av en frontal, flakt, løvehodet ørn (Imdugud) med løver eller andre dyr i klørne. I løpet av de siste 500 år f.Kr. førte greske byer på sine mynter enkle, heraldisklignende kjenningsfigurer: Aigina en skilpadde, Athen en ugle, Korint en pegasus osv. Da Vest-Europas ridderskap på 1100–1200-tallet e.Kr. hadde skapt sin systematiserte og fargerike heraldikk, ble skikken snart også tatt opp i stor utstrekning av geistlige og verdslige samfunn. Byer og enkelte landskaper antok også våpen. Selvstyrte bystater eller byrepublikker med egen hær eller flåte antok flagg og våpenskjold (f.eks. Marseille blått kors på hvitt, Firenze rød lilje på hvitt osv.). Også mange ikke-suverene kystbyer antok tidlig skipsflagg. Sveitsiske kantoner tok våpen i form av skjold og stridsfaner som ennå er bevart. Eldst er Uris (1243), et uroksehode svart på gult (tatt etter navnet).
Alle byer måtte ha segl, men ikke nødvendigvis våpen. Likevel fremkom byvåpen i betydelig antall i de store land. Byer kunne bli tillatt eller pålagt å føre sin adelige eller fyrstelige overherres våpen. Et tidlig eksempel er byen Amilhau i Languedoc, som 1187 fikk lov til å føre Aragons vertikalstripede kongeskjold. Etter en rikslov ca. 1220 måtte tyske bysegl være godkjent av kongen, og ble da ofte utstyrt med et fyrste- og/eller adelsvåpen, som ikke dermed dannet et selvstendig kommunevåpen. Men når slekten som eide våpenet døde ut, satt byen som eneeier. Selvstendige byvåpen, i skjoldform og i farger, med originalt heraldisk motiv, ble på fransk område neppe utviklet før fra 1300-tallet, men langs nordsjø- og middelhavskystene kanskje noe tidligere. Ved de helt selvvalgte våpen (eller seglfigurer som siden ble våpen) kunne man f.eks. ta noe ut fra byens navn: Arboga en ørn (ari), Biel en bile, Lille en lilje, Mulhouse et møllehjul, Newcastle kasteller, Torino en okse, Oxford likeså, Stavanger en vin-«stav» (vinstokk).
Det finnes få sikre byvåpen (figur i skjold og brukt med farger) i nordisk middelalder. Plassert i skjold på segl finnes Kalmars stiliserte tårn 1247/69, Linköpings løveansikt 1297, Örebros ørn 1331, Elleholms lilje 1450. Et uomtvistelig kommunevåpen (med farger) er Malmös våpen, gitt ved kong Eriks våpenbrev 1437: et gullkronet rødt griffhode på hvitt (Eriks eget var en hel griff). I 1200–1300-tallets Norgesvelde fantes landskapsvåpen for Jemtland (Norges-løve og bord), Orknøyene (skip), Færøyene (saubukk), Man (triskele) og Island (kronet tørrfisk). Det finnes også våpen for flere fylker og sysler i segl fra middelalderen.
En samlet våpenserie for alle Sveriges og Finlands landsdeler ble skapt som enhetlig arbeid av Erik 14 og Johan 3 og fremført i prosesjoner ved kongebegravelsen 1560 og kroningen 1569. De svenske landskapsvåpen ble i løpet av 1800- og 1900-tallet omdannet til 25 «länsvapen». I de andre nordiske land er det etter 1945 opprettet nye kommunevåpen i stort antall.