Door de opkomst van het kanon werd kasteel Montfort rond 1536 uitgebreid met vestingwerken. Dit kon echter niet verhinderen dat het ten tijde van de veldtocht van keizer Karel V in 1543 zwaar beschadigd werd en volledig uitbrandde. Tijdens de Tachtigjarige Oorlog vervulde het kasteel nog een (bescheiden) militaire rol. In 1685-1686 werden de vestingwerken gesloopt en de grachten gedempt. Als laatste werd de Grauwert grotendeels opgeblazen. De resterende gebouwen bleven woning voor de drossaard, die aan de zuidzijde, aan de overzijde van de Huysdijk, een prachtig symmetrisch tuinencomplex liet aanleggen.

Kort na 1780 volgde ook de sloop van het woonkasteel, waarna een ruïne overbleef. Rond 1850 bouwde een Roermondse papierfabrikant op de noord-oostelijke torenvoet een achthoekig bakstenen buitenverblijf, als uitvalsbasis voor jachtpartijen. In de volksmond is dit torentje het Jachtslot gaan heten. 

Het Jachtslot is in 2005-2006 gerestaureerd, waarna er een informatiecentrum voor bezoekers in is gerealiseerd rondom het thema ‘een kasteel en zijn landschap’. In 2011 werd een groot middeleeuws keldercomplex ontdekt, dat in 2015-2017 is gerestaureerd. Ook werd in deze jaren de kasteeltuin opnieuw aangelegd. Door deze restauraties is kasteel Montfort aan een nieuwe toekomst begonnen.