Mordvinerne nevnes første gang på 500-tallet. Området ble besatt av mongolene på 1200-tallet. Omkring 1200 dannet det seg stammeforbund blant den finsk-ugriske befolkningen i den nåværende republikken, men mordvinerterritoriet kom snart under de russiske fyrstedømmene i Rjazan og Nizjnij Novgorod. I 1522 underkastet mordvinerne seg frivillig Moskva, og det ble bygd mange befestninger i området med russisk befolkning. Jordreformen 1861 fratok mordvinerne ca. 30 prosent av jorden, og mange av dem flyttet til Sibir og Kasakhstan.
Området ble i 1928 opprettet som nasjonalt område, i 1930 som autonomt område og i 1934 som autonom republikk. Mordovia undertegnet våren 1992 Føderasjonsavtalen, se Russland (Stat og styresett).