Wenn man die Burg zum ersten Mal sieht, denkt man eher an eine Kirche, als an eine Verteidigungsanlage und zwar wegen dem unglaublich hohen Turm. Der Bergfried des Schlosses ist 40 Meter hoch. Er ist der älteste Teil der Burg und entstand in  der ersten Hälfte des 12. Jahrhunderts. In der Zeit der Rennaissance wurde die Anlage erweitert. 

Die Burg war im Besitz der Herren von Welsberg, Mitglieder der bedeutensten adeligen Familien Tirols. Ein riesen Event der Geschichte war die Hochzeit von Herzog Sigmund IV im Schloss, es waren 3600 Gäste geladen. Das Schicksal kam im  Jahre 1750 als ein Brand den Großteil des Palas zerstörte. Dieser wurde nie wieder erneuert und die Burg nicht mehr bewohnt. Heutzutage ist die Wehranlage noch Schauplatz für viele Konzerte und Ausstellungen.