Samotný přístav Ban Phe nenabízí příliš atrakcí kromě tradičního středu města s úzkými uličkami a několika tržišti. Většinu návštěvníků tvoří cestující na ostrov Ko Samet, kam jezdí lodě z několika přístavišť.
Koupání na pobřeží v okolí Ban Phe nestojí za nic, s výjimkou poloostrova, na kterém je postaven velice příjemný hotel Rayong Resort. Je tu travnatá pláž a vlivem skalnatého mysu je tady i nejčistší moře z celého východního pobřeží Thajského zálivu. Viditelnost je tu většinou i 2 metry. Poloostrov je pokryt bujnou džunglí, přes kterou vede naučná stezka až k nejzazšímu mysu.
Poblíž hotelu je i docela pěkné mořské akvárium s mnoha druhy ryb a podvodním tunelem. Uvidíte tu nejen žraloky, ale i korálové ryby včetně jedovatého odrance pravého, anglický název stonefish (kamenná ryba) ho však charakterizuje lépe.
