Het kasteel werd gebouwd in 1617 op de ruïnes van het oude kasteel, waarvan alleen de achterste uitstekende toren uit 1567 overblijft. In 1726 werd de heerlijkheid verworven door graaf Philippe Vander Stegen, wiens wapen het voorgebouw van de kerk van Bousval siert. De familie Vander Stegen bleef bijna een eeuw eigenaar en voegde er de naburige heerlijkheden aan toe. In de 19e eeuw onderging het kasteel vele transformaties totdat het het uiterlijk kreeg zoals we het nu kennen.