Samlingshus for Sem og Omegn Vel. Huset ble bygget på dugnad, og stod ferdig i 1983. Siden den gangen har huset blitt pusset opp flere ganger. Grendehuset benyttes til lokale møter, men leies også ut som selskapslokale.

Med sin nærhet til Semsvannet er Sem Grendehus et fint utgangspunkt for turer i Vestmarka. Det er utfartsparkering som kan benyttes hele året. Om vinteren preparerer Skiforeningen løype rett utenfor husveggen, med forbindelse til Jansløkka skole, Semsvannet og Berg-gårdene. Derfra går det mange løyper videre.

Sem Grendehus ligger like ved Sem bruk, og har Sagfossen som nærmeste nabo. Den er starten på Askerelva.