De første fossile neshorn er kjent fra eocen. Gjennom hele tertiær dannet neshornene en artsrik gruppe med mange, atskilte utviklingslinjer hvorav de aller fleste døde ut innen utgangen av tertiær. De fleste hadde ikke utviklet horn og var kraftige, massive og forholdsvis kortbente. Paraceratherium, det største kjente landpattedyr, hørte til neshornene. Til de yngre, hornbærende neshornene hørte bl.a. slekten Coelodonta, som med sin tykke pels klarte å leve i Europa i de kalde periodene av kvartær.