1670er Jahre — Bau durch Johann Adolf von Fürstenberg
Bauherr war Johann Adolf von Fürstenberg (1631–1704), katholischer Geistlicher und Diplomat aus westfälischem Adel — Domherr in Münster, Propst am Stift Heilig Kreuz in Hildesheim und zuletzt Dompropst in Paderborn, daneben Drost im Herzogtum Westfalen. Die Pläne werden Ambrosius von Oelde zugeschrieben. Errichtet wurde das Schloss auf den Resten eines älteren Burgsitzes, nachdem Johann Adolf in Oberhundem mehrere Bauerngüter — darunter den sogenannten Waltmanns- oder Brucher Hof — erworben hatte. Am 20. Februar 1676 erhob Kaiser Leopold I. die Anlage per Diplom in den Rang eines adligen Herrensitzes; um 1681 entstand die Vorburg. Zwei Kamine im Rittersaal und eine Alabasterbüste des Bauherrn stammen vom Bildhauer Johann Mauritz Gröninger.
18.–19. Jahrhundert — Wohnsitz und Jagdschloss
Johann Adolf bewohnte das Schloss von 1679 bis zu seinem Tod 1704. Zwei weitere Generationen der Familie von Fürstenberg lebten hier: Clemens Lothar mit seiner Familie von 1758 bis Ende der 1780er Jahre, der 1766 auf der Adolphsburg geborene Friedrich Leopold von 1819 bis 1835. Als die Familie ihren Stammsitz nach Schloss Herdringen bei Arnsberg verlegte, diente die Adolphsburg nur noch als Jagdschloss — mit fünf Jagdbezirken rund um Heidschott, Heinsberg, Oberhundem, Saalhausen und Fleckenberg. Die barocke Parkanlage entstand 1713 und ist in Teilen bis heute erhalten.
20. Jahrhundert — Brand, Mission, Leerstand
Ein Brand zerstörte 1901 Teile der Vorburg. Anfang des 20. Jahrhunderts wurden barocke Portale und die berühmte Ledertapete für die Neugestaltung von Schloss Herdringen abgebaut. 1919 mietete sich die Ordensgemeinschaft der Missionare von der Heiligen Familie ein und richtete in der Adolphsburg ihre erste Missionsschule auf deutschem Boden ein. 1940 schlossen die Nationalsozialisten die Schule; während des Zweiten Weltkriegs lebten hier Evakuierte, und aus Sicherheitsgründen wurden Teile der Sammlung des Düsseldorfer Stadtmuseums eingelagert. 1946 nahm die Missionsschule mit zehn Schülern den Betrieb wieder auf, bis der Orden 1956 in das Kloster Maria Königin bei Altenhundem umzog. Danach stand das Schloss über Jahrzehnte leer und drohte zu verfallen.
Seit 1985 — Baudenkmal und private Wohnungen
Mitte der 1980er Jahre fand sich endlich ein Investor, der die Adolphsburg restaurierte. Am 7. März 1985 wurde sie in die Denkmalliste der Gemeinde Kirchhundem eingetragen und in einzelne Wohneinheiten unterteilt. Eine dieser Einheiten ist die Saalstube — die heute, vor wenigen Jahren noch einmal vollständig saniert, als Ferienwohnung buchbar ist. Ein Stück Westfälischer Barock, das nicht nur besichtigt, sondern bewohnt werden kann.