På Skarvøy har folk bodd i hvertfall siden 1310.

I 1590 årene ble det drevet eksport av eiketømmer til Danmark og Holland. Det beste tømmeret ble brukt til danske seilbåter, det andre ble brukt til påler som de bygget byene i Holland på, for eksempel Amsterdam.
Hvert år i 30 år seilte 6 fartøyer med tømmer fra Skarvøy. Tilbake fikk de leirtøy, korn og lignende.

Folk her levde av handel, fisk og jordbruk. Skarvøy var først i distriktet til å ta i bruk jordbruk, kaffe, te og tobakk siden de lå sentralt til omverdenen. Skarvøy hadde to loser.

På 1700 tallet var det stor handel med mye import og eksport. I bukten ligger minst to skipsvrak fra middelalderen. Det ene var et pest skip som ble satt fyr på og som brandt før det sank. Begge disse vrakene er utgravd, og det er tatt opp flere tusen gjenstander som ser er utstillt på musseer her og i Oslo.
​