Ebenso wie die nur wenige Kilometer entfernte Burg Hurwin, standen die Burgherren der Kaltenburg im Dienste der Staufer-Herrscher.
Auch die westliche Schildmauer konnte die mehrere Zerstörungen nicht abwenden. In der zweiten Hälfe des 30-jährigen Krieges wurde die Kaltenburg wesentlich zerstört und bereits 40 Jahre später wieder aufgebaut.