Området rundt Vardåsen heter egentlig Vardåsmarka, og består av selve Vardåsen, Haugeråsen med stupene, og Slottsberget. Slottsberget er den vestlige åsryggen, som er skilt fra selve Vardåsen av den dype Råtadalen fra syd som ender ved Stupet, men som egentlig fortsetter videre mot nord og øst. Her er både skiløyper og et godt stinett, som oftest er tråkket opp også om vinteren. I vest ligger institusjonen Vardåsen sykehus, opprinnelig tuberkulosesanatorium for Kristiania, som i 1923 var grunnen til at åsryggen skiftet navn fra Slottsfjellet til Slottsberget:

«Det høydedraget som det store anlegget var bygd på, heter Slottsfjellet, og det var naturlig å gi institusjonen navn etter denne høyden. Men da protesterte Tønsberg kommune. Slottsfjellet i denne gamle byen i Vestfold skulle Tønsberg ha enerett på! Saken gikk til domstolen, og Oslo kommune tapte. Så fikk sanatoriet navnet Vardåsen, selv om det slett ikke er plassert på Vardåsen.» Kilde: Det var en gang - på våre kanter. 5: Heggedal, Bondi, Borgen, Drengsrud, Engelsrud, Dikemark, Vardåsen, Askerbørskogen, Asker kirke, 1996(?).

Og så skiftet Slottsfjellet navn til Slottsberget, som nå er brukt i de fleste sammenhenger, men ikke i alle.