Ach die Diederik. Hij hield zich groot, dat wel, maar Gemert was toch overduidelijk niet meer van hem. Ja, de erven rond het Hooghuis, die waren nog onbetwist zijn eigendom, maar verder speelde de commandeur van Gemert overduidelijk de nieuwe heer en de Duitse orde speelde de nieuwe eigenaar van wat eens het trotse bezit van de familie van Gemert was.En in 1383 wilde de Orde ook nog eens beweren dat de Duvelskamp van haar was. “Nee” zei Diederik, “de Duvelskamp hoort bij de goederen die buiten het akkoord van 1366 zijn gebleven en is dus van mij”. Diederik begreep wel waarom de Duitse Orde juist op de Duvelskamp het begerige oog had laten vallen.
Zij wilden op die plek een kastel bouwen! Daar lag een bult leem tot aan de oppervlakte. Daar konden twee vliegen in een klap worden geslagen: het leem afgraven en bakken tot stenen en de ontgrondingen vol laten lopen met het water dat daar toch al overvloedig aanwezig was en zo een waterburcht creeeren, omgeven door vele grachten. Maar Diederik, nog niet zo oud en schijnbaar toch der dagen zat, overleed en het waren zijn nog jonge zonen die de handschoen dienden op te nemen.
Diederik junior, de oudste zoon, bedacht samen met zijn jongere broers Jan, Wouter en Godert een list om te voorkomen de Duvelskamp de ondergrond van een Ordekasteel zou worden. De gebroeders stonden het ene Gilis Talhants toe om in een hoek van de Duvelskamp een huis te bouwen. De landcommandeur van Alden Biesen bedacht en bracht als tegenzet een bezoek aan hertogin Johanna te Brussel. Hij kwam terug met haar goedkeuring om in Gemert een kasteel te bouwen. De vijandschap tussen de van Gemerts en de Duitse Orde, enige tijd onderdrukt door alle arbitrage van hogerhand, laaide weer op. De Duitse Orde legde beslag op het huis van Gilis Talhants, waartop de gebroeders Jan en Wouter van Gemert de brand in dat huis staken. Wouter vluchtte naar het hertogdom Gelre en alleen dankzij de bemiddeling van hertog Willem van Gelre kon hij nog naar de oude stamplaats terugkeren. Die bemiddeling leidde in 1394 ook tot (alweer) een akkoord, waarbij de familie van Gemert afstand deed van haar aanspraken op de Duvelskamp en in ruil daar voor toch redelijk in ere werd hersteld . Diederik junior werd weer de leenman van het ouderlijke Hooghuis en zijn jongste broer Godert mocht zowaar stadhouder van de commandeur worden.
Natuurlijk, het zou nog wel even duren vooraleer de gloednieuwe muren van het kasteel van de Duitse Orde zich zouden spiegelen in zijn grachten, maar de naam Duvelskamp verdween en rust nu voor eeuwig onder de burcht die de ingezetenen van destijds liever niet hadden zien bouwen, maar die wij later in Gemert toch zijn gaan waarderen als ‘ons’ kasteel.