Bereits um 1202 wurde eine einfache Wehranlage der Herren von Summersberg in Gufidaun erwähnt. Nachdem aber diese Familie nach Albeins übersiedelte, erhielt Georg von Villanders 1329 das Recht, den bestehenden Turm durch einen festen Ansitz zu ergänzen. Im 15. und 16. Jahrhundert wurde Schloss Summersberg erweitert, die heute noch bestehenden Bauten gehen auf diese Zeit zurück.
Der Besitz von Schloss Summersberg ging an die Trautson und 1619 an die Grafen Wolkenstein. 1880 kaufte der Literat Ignaz Vinzenz Zingerle Schloss Summersberg. Das Schloss befindet sich seitdem in Besitz der Familie Zingerle.