Hvitsten er et hyggelig kyststed med mye fint, gammelt trehusmiljø. De to sjøbodene fra 1700-tallet, setter et visuelt særpreg på "sentrum". Tilhørende brygge som er fin å hoppe/stupe fra, inngår i badestranden med langgrunne og fin gresslette.
Hvitsten seilforening med egen padlegruppe, holder sommerkurs for barn. Padlegruppen er aktive - de ivrigste er ute på fjorden også vinterstid som byr på helt spesielle opplevelser.
Aller mest er kanskje Hvitsten kjent for familien Olsen, skipsrederfamilien, som har bodd på stedet gjennom generasjoner. I dag er det Fred. Olsen som bor på familiestedet Nedre Lysedahl like opp for torget og badestranden.
Kunstnerstedet Hvitsten har vært bosted og ferieparadis for Nicolai Wergeland, Edvard Munch, Th. Kittelsen, Christian Krogh, Hans Jæger og Lasson-døtrene Oda og Bokken. Theodor Kittelsen kjøpte seg hus i Hvitsten 1892 og hadde en meget produktiv periode mens han bodde her. Edvard Munch kjøpte eiendommen Ramme, nord for Hvitsten i 1911. Sigrid Undset har bodd i Hvitsten. Hun tok Emmerstadbukta noe lengere sør som modell for Hestviken i hennes roman "Olav Audunsøn i Hestviken".
Like bak kirken i Hvitsten - innerst på parkeringsplassen - nede ved elva - her starter skiløypen som kjøres opp med scooter når det er litt godt med snø. Løypen er bratt i starten fram til den kommer inn på rundløype Sekkebekk-Strand. Betydelig makeligere er løypen som krysse Hvitstenveien ca 700 meter langs veien opp fra torget/stranda i Hvitsten.
