Konrad Klose schreibt in seiner Chronik auf S. 288: "Einen jahrelangen Kampf hatte die katholische Gemeinde auch um einen Neubau der Kirche zu führen, nachdem die alte Schloßkapelle zu klein und baufällig geworden war. Am 31. Mai 1896 war die erste Anregung zum Kirchenbau gegeben worden, und fast genau 10 Jahre später, am 25. Mai 1906, wurde der Grund in dem alten Weisegarten gelegt. Erst nachdem die Gemeinde sich dazu verstanden hatte, das alte Gotteshaus zu unterhalten und die Mehrkosten der Fundamentierung zu übernehmen, gab die Patronatsbehörde ihre Zustimmung. Am 17. Dezember 1908 fand die feierliche Benediktion* der neuen Kirche statt. An den Kirchplatz grenzt das Josephsstift, in dem die seit 1902 bestehende Niederlassung der grauen Schwestern ihr Heim fand. Nach Süden ist der Kirche der Rosengarten vorgelagert, der einer Stiftung der Frau Rentier Haake sein Dasein verdankt."

Zur Unterscheidung von der alten katholischen Schlosskapelle wurde diese häufig die Neue katholische Kirche genannt.

Der herrliche Rosengarten wurde wie die Promenaden (Schulpromenade, Wasserpromenade) von Stadtgärtner Hermann Marx auf den alten Wallgräben und Dämmen angelegt. Hier einige Abbildungen von Ansichtskarten verschiedener Zeiten: