1670er Jahre — Bau durch Johann Adolf von Fürstenberg
Bauherr war Johann Adolf von Fürstenberg (1631–1704), katholischer Geistlicher und Diplomat aus westfälischem Adel — Domherr in Münster, Propst am Stift Heilig Kreuz in Hildesheim und zuletzt Dompropst in Paderborn, daneben Drost im Herzogtum Westfalen. Die Pläne werden Ambrosius von Oelde zugeschrieben. Errichtet wurde das Schloss auf den Resten eines älteren Burgsitzes, nachdem Johann Adolf in Oberhundem mehrere Bauerngüter — darunter den sogenannten Waltmanns- oder Brucher Hof — erworben hatte. Am 20. Februar 1676 erhob Kaiser Leopold I. die Anlage per Diplom in den Rang eines adligen Herrensitzes; um 1681 entstand die Vorburg. Zwei Kamine im Rittersaal und eine Alabasterbüste des Bauherrn stammen vom Bildhauer Johann Mauritz Gröninger.

