Nun sesshaft, musste die Familie doch weiterhin notdürftig vom überkommenen Kleinhandwerk wie dem Korbflechten, Besenbinden und von Gelegenheitsarbeiten leben.
Im Jahr 1762 zerstörte ein Brand große Teile des Schlosses, das anschließend nur notdürftig wiederhergestellt wurde, wobei die Ecktürme teilweise abgetragen werden mussten.