Già nel 1202 è menzionato un impianto fortificato semplice dei Signori di Summersberg (Sommo) a Gudon. Dopo che la famiglia si trasloca ad Albes nel 1329, Georg von Villanders ha ricevuto il diritto di aggiungere una residenza alla torre esistente. Nel Quattrocento e nel Cinquecento, il castello è stato allargato e gli edifici attuali sono rimasti di quel periodo.

La proprietà del Castel Sommo è stata passata ai Trautson e nel 1619 ai conti Wolkenstein. Nel 1880, il letterato Ignaz Vinzenz Zingerle ha acquistato il castello. Fino a oggi, il castello e nel possesso della famiglia Zingerle.