Auf dem Wülpelsberg, nahe ihrer späteren Stadt Brugg, unweit dem Zusammenfluss von  Aare, Reuss und Limmat, errichteten sie um das Jahr 1020 eine feste Burg.

1108 wurde der Bau erstmals in einer Urkunde unter dem Namen "Havichsberch" erwähnt.

Es war die Zeit, da adlige Herren begannen, sich nach ihren befestigten Wohnsitzen zu nennen. 

Immer öfter tauchte so auch die Bezeichnung "Grafen von Habsburg" in Dokumenten auf und zeugte von den Bemühungen der Familie, Grundbesitz, Rechte und Privilegien zu mehren.