Jednak po śmierci ostatnich z rodu Hohenzollernów, historia zamku zdecydowanie na tym ucierpiała. Architektura została przejęta przez Waldemara Pruskiego, który przeniósł się tu wraz z żona z ich rodzinnej Bawarii. Jednak dość szybko zmuszeni zostali do przeniesienia się z głównego budynku do budynku zarządcy, który położony był nieco niżej, pod zamkiem. Sytuacja taka miała miejsce ponieważ sama architektura została przejęta przez frakcję Todta, czyli paramilitarną frakcję nazistowską. Wytrzymali tak trzy lata i uciekli z powrotem do Bawarii. Todta przekształciła piękny, niesamowity, bajkowy pałac w magazyn zabytków skradzionych z całej Polski i okolic. Było to miejsce przejściowe, zanim skarby zostały wywiezione do Niemiec. Popłoch nastąpił przed samym wkroczeniem wojsk rosyjskich. Duża część zbiorów została wywieziona, reszta dostała się pod władanie wojsk rosyjskich, którzy albo je niszczyli albo odsyłali do Moskwy. Nie był t jednak najgorszy okres w Historii zamku, najgorsze chwile miał jeszcze przed sobą.
