"Andrageren er meget duelig i sit Fag, men for Tiden uden Arbejde og Erhverv paa Grund af, at Skibsbyggeriet her, som i hele Landet, næsten er standset, dels af Pengemangel og dels, fordi Fragterne er saa daarlige og lave, at det ikke kan betale sig at bygge, og han har ikke Evne til at byge dem for egen Regning. Hans Karakter er meget agtværdig, og hans Opførsel og Vandel har i den Tid, han har opholdt sig her, været eksemplarisk god og i enhver Henseende rosværdig. Idet jeg overensstemmende med Sandheden bevidner foranstaaende, beklager jeg, at han maaske af Mangel på Erhverv maa forlade dette Sted, hvor hans Flid og Dygtighed er anerkendt." 

Graff kommer vist ikke til at rejse; i hvert fald er han i 1860 beskæftiget med at bygge to fiskefartøjer sammen med I. N. Christensen, af en ny type, hvor man havde store forhåbninger om forbedret sødygtighed.

Birkedommeren indstiller dem derfor til et rentefrit lån til hjælp ved bygningen af de to både. 

Det blev atter opgangstid, og Graff får efterhånden bygget følgende skibe: 

I 1879 byggede han den nye Havnebro i Nordby. Dermed var det slut med hans virksomhed på Fanø, året efter flyttede han til Esbjerg, og anlagde et hvidtølsbryggeri, som senere blev overtaget af sønnen N. M. Graff.