På Skarvøy har folk bodd i hvert fall siden 1310, men området bærer også spor etter de aller første menneskene som kom til Norge etter istiden. I vikingtiden var Skarvøy strategisk plassert for ferdsel og handel langs kysten. På 1400-tallet søkte også sjørøvere som Vitaliebrødrene ly og støtte i området. I perioden 1525–1532 ble farvannet rundt Skarvøy brukt av kapere og sjøkrigere i tjeneste for den avsatte kong Christian II – blant dem Claus Kniphoff, Martin Pechlin og Skipper Clement.
I 1590-årene ble det drevet storstilt eksport av eiketømmer til Danmark og Holland. Det beste tømmeret gikk til bygging av danske seilskip, mens resten ble brukt til påler som byene i Holland, som Amsterdam, ble reist på. I tre tiår seilte seks fartøyer årlig fra Skarvøy med tømmer. Tilbake kom de med leirtøy, korn og andre varer.
Folk her levde av handel, fiske og jordbruk. Skarvøy var tidlig ute med å ta i bruk jordbruk, og var blant de første i distriktet til å innføre kaffe, te og tobakk – takket være sin sentrale plassering i handelsnettet. Øya hadde også to faste loser.
På 1700-tallet var det omfattende import og eksport fra Skarvøy. I bukta utenfor ligger minst to skipsvrak fra middelalderen. Ett av dem var et pestskip som ble satt i brann før det sank. Begge vrakene er arkeologisk undersøkt, og flere tusen gjenstander er hentet opp og finnes i dag utstilt på museer både lokalt og i Oslo.