Frederick L. Rymker bodde bare fem år fast i Norge, fra 1857 til 1862. I løpet av de neste ca. 20 år oppholdt han seg i landet i kortere og lengre perioder. Han var grunnleggeren av de første baptistmenighetene i Norge.
Rymker ble født i Stige i Lumby sogn på Fyn. Han gikk i skomakerlære, men 19 år gammel reiste han til sjøs, og til 1847 seilte han det meste av tiden på Amerikas østkyst. 1845 kom han i kontakt med baptistenes sjømannsmisjon i New York og ble selv baptist 1847. Året før hadde han måttet amputere et ben på grunn av en arbeidsulykke og måtte bruke protese. Han gav opp sjømannsyrket og begynte etter hvert som protesemaker, samtidig som han arbeidet i menigheten han tilhørte i New York, First Baptist Mariner's Church.
Rymker fikk 1848 godkjenning som predikant i sin menighet og arbeidet først og fremst blant sjøfolk. 1850 kom han til Danmark som “Colporteur-Missionær”, som han kalte seg, med økonomisk støtte fra amerikanske baptister. Han bodde først hos foreldrene, men 1852 flyttet han til Odense, giftet seg, stiftet en baptistmenighet i byen og bygde et hus med en møtesal i. Han ble samme år ordinert som pastor av de danske baptister. Han drev dessuten både sjømannsmisjon og soldatmisjon.
September 1857 kom Rymker til Norge som utsending for de amerikanske baptister. Han slo seg ned i Porsgrunn. De følgende årene ble Grenlandsdistriktet hans hovedvirkeområde, men han reiste over det meste av Sør-Norge for å forkynne og for å etablere kontakter og bygge allianser med tanke på fremtidig baptistisk virksomhet.
22. april 1860 stiftet Rymker den første baptistmenighet i Norge, Baptistmenigheden i Porsgrund og Solum. Dermed var baptismen i Norge mer enn enkeltpersoner som hyllet en baptistisk trosoverbevisning. Baptismen hadde fått et kollektivt, organisasjonsmessig uttrykk og fremstod som en konfesjonell størrelse. Samme høst stiftet han en baptistmenighet i Larvik. Etter at han 1862 flyttet tilbake til Danmark, besøkte Rymker Norge flere ganger og ledet stiftelse av baptistmenigheter i Eidsvoll 1864 og Arendal 1867.
Rymker var ingen folketaler. Hans styrke lå i samtalen med enkeltmennesker og i små grupper, og i omsorgen han møtte mennesker med, noe hans dagbøker viser. Han var også opptatt av at baptistene måtte tenke strategisk for å nå ut med sitt budskap. På sine reiser søkte han kontakt med innflytelsesrike næringslivsfolk og offentlige personer, og han argumenterte overfor sine oppdragsgivere og medarbeidere for å etablere virksomhet i Christiania og i større byer som Trondheim, Bergen og Tromsø. Dette skjedde også, men først etter at han hadde forlatt Norge.
Rymker hadde ingen formell skolegang ut over den han fikk i sin oppvekst. Men som sjømann hadde han lært seg engelsk, og i menigheten i New York fikk han en viss teologisk skolering før han ble sendt til Danmark. Dette viser seg allerede 1851 i en offentlig debatt med to danske prester, der han muntlig og skriftlig fremstår som deres jevnbyrdige i så vel kunnskap som formuleringsevne. Med forelegg fra Sverige og USA utarbeidet han 1860 en trosbekjennelse for den første baptistmenigheten, som blant annet avspeiler teologiske posisjoner innad i baptismen.
Han kjøpte og studerte teologisk litteratur på engelsk, korresponderte på engelsk, også med skandinaver, og skrev ofte sine dagboknotater på engelsk. 1854–57 utgav han Missionsblad for døbte Christnes Menigheder i Danmark og var senere en flittig bidragsyter til dette.
Frederick L. Rymker forlot Norge 1862 som en skuffet mann. Han opplevde sviktende støtte fra sine oppdragsgivere og medarbeidere og syntes han hadde fått utrettet lite; han var hemmet av sitt fysiske handikap, og hans hustru var mye syk. Likevel mistet han aldri interessen for Norge og de norske baptister, og hans navn er uløselig knyttet til baptismens etablering i Norge.