Kaiser Friedrich II starb und die mächtigen Territorialfürsten rangen danach die Gebiete, vorallem der Kirche einzunehmen. Bischof Bruno von Kirchberg hatte den Verwaltungssitz im ungeschützten Aufhofen im Pustertal. In den Jahren von 1251 – 1288 ließ er deshalb auf einem Felshügel, der in das Tal hineinragte, eine gut befestigte Burg errichten. Gleichzeitig begann er mit dem Aufbau der Stadt Bruneck.
Im 14. Jahrhundert wurde Burg Bruneck vom Bischof Albert von Enn erweitert und mit einer Zwingermauer umgeben. Im 15. Jahrhundert wurde die Wehrhaftigkeit des Schlosses weiter ausgebaut. Fürstbischof Christoph von Schroffenstein gestaltete im 16. Jahrhundert das Gebäude zu einem Wohnschloss um.
Heute gehört das Schloss der Stadtgemeinde Bruneck und wurde dem Extrembergsteiger Reinhold Messner zur Errichtung seines “Messner Mountain Museums Bergvölker” zur Verfügung gestellt.
