Holset ligt als een van de dorpen op de flanken van het Selzerbeekdal. Het dorp is gebouwd op een uitloper van het plateau van het Holsetterbos, de zogenaamde Kaap van Holset. De huidige kern van het dorp dateert uit de Middeleeuwen. In de ondergrond ligt Vaalser Groenzand, bedekt met stroken vuursteen. Dit verklaart ook de vele bronnetjes in het gebied die door de taaie leem van de formatie van Holset niet in de ondergrond konden doordringen. Een van die bronnetjes voedt de Klaasvelderbeek die uit de Lambertusbron ontspringt. Andere zijbeekjes van de Selzerbeek in deze omgeving zijn de Hermans-, Harlesser- en Zieversbeek. Het brongebied van de Hermansbeek, het Schild, is een natuurgebied met Gewone dotterbloem, Slanke sleutelbloem en Geelbuikvuurpad.