Byen ligger ligesom Nordby på Fanøs østkyst næsten helt mod syd, hvor tidevandsrenden gik tæt ind under land og dannede en sikker naturhavn. Sønderho kaldes i de ældste lensregnskaber for Sønderhofvit.

Mod syd og vest begrænses byen af høje klitter, mod øst et havnedige og til nord et nyere dige til sikring mod oversvømmelse ved stormflod.

Byen er opstået da nogle af beboerne fra Fanø’s første bebyggelse i Albobugten flytter til det sydlige Fanø, sandsynligvis fordi havnen i Albobugten er blevet til marsk, og da fiskeriet var hovednæringsvejen var behovet for at være i kontakt med Ribe-markederne stort, for det var der man kunne afsætte sin fangst. Ved siden af fiskeriet blev den sparsomme jord dyrket. 

Ved købet af øen i 1741 ændres levevilkårene, idet en temmelig stor del af indbyggerne bliver selvejende skippere, og ved indgangen til 1800-tallet er Sønderho en driftig international orienteret by. Byens isolerede beliggenhed, må have været medvirkende til, at byen ikke vokser sig særlig stor; en anden faktor har været de énsidige erhvervsmuligheder, som ganske vist trak erhverv med sig som skibsbyggeri og tømmervirksomhed, men noget større erhvervsliv opstod aldrig. 

I slutningen af 1800-tallet synger skibsfarten på sidste vers og der sker en væsentlig udflytning sted, især til Esbjerg. 

Det ser ud som om luften bliver taget ud af byen, og stedet bliver mere og mere overtaget af badegæster, en tendens der fortsætter op gennem 1900-tallet.

Hvis vi ser på de tidligste kort over Sønderho ser det ud til at hovedfærdselsåren er Hovedgaden og dens forlængelse til Vesterstranden og til præstegården i Bjerges Leje. Vesterstranden var indtil 1804 den eneste farbare vej til Nordby. I Sønderho fører den direkte ned til det strandområde, hvor havnen har ligget og heromkring er det sandsynligt, at den ældste bebyggelse har ligget. 

Byplanen har et kroget forløb med få gader og mange gyder og fælles pladser/grønninger. Rent tidsmæssigt er kroen med herberg, der lå nord for, hvor kroen ligger i dag den første bygning man kan placere, og stedet er vel valgt på grund af trafikken i havnen.

I forrige tider under Ribes glansperiode, var farvandet ind til Sønderho så dybt, at datidens skibe kunne gå ind til havnen, hvorpå ladningen ved højvande blev omlosset i lægtere og pramme, der førtes til Ribe. Al godset blev fortoldet i Sønderho, hvor Ribes toldfuldmægtige havde fast bopæl. 

Havnen har ofte ændret karakter på grund af stormfloder, sandflugt og hårde isvintre. En bred klitrække – indtil 20 m høj – har i sin tid ligget mellem havn og by og beskyttet mod vandets indtrængen. 

Ifølge skatte- og fæsteprotokollen var der 72 huse i Sønderho i 1683, ca. 160 huse i 1760 og omkring 200 i 1820. 

Selvom hovederhvervet blev søfart, drev man stadig landbrug, hvilket hovedsagelig var kvindearbejde, og husene var indrettet både til beboelse og landbrug med stald og høloft, og med den velstand søfarten medførte, blev husene større, men staldarealet forblev uændret.

 Husene vender mod øst/vest, hvilket var formålstjenstligt under vestenvind. Husene er en-længet med sydvendt stue og med stalden isoleret i husets vestende. ”Husene vender som køerne rumpen mod vejret”. Der er lavloftet i stuerne og ofte hænger stråtagene ludende ned over vinduerne. Syd for huset ligger en lille have omgivet af høje hække af bukketorn – i Sønderho kaldet ”stikpiller” -, der næsten gror sammen om de smalle adskillende stier. Bukketornen blev plantet i tangdiger, det gav det fattige klitsand et nødvendigt tilskud af humus. 

Afhængigheden af velstanden fra skibsfarten kunne give sig udslag i husenes størrelse, der kunne gå op eller ned. Hvis en ung enke fx sad tilbage med et større hus efter tabet af ægtemanden på havet, var der ikke råd til at vedligeholde hele huset, så man tog nogle fag væk, og omvendt hvis huset blev overtaget af en velbeslået familie kunne der i stedet for at formindske, forøge antallet af fag. 

I Sønderho fandtes der mange enker og ugifte kvinder, og en del af disse slog sig sammen i huse på 3 – 4 fag og med et lille landbrug.