La posizione del castello è d’importanza strategica perché si poteva vedere la vecchia strada della Val Sarentino che non seguiva il fondo della valle da sempre, ma conduceva via la strada più alta sotto di S. Genesio Atesino. L’impianto potente è stato costruito probabilmente nel dodicesimo secolo dai signori di Rafestein, conosciuti anche a causa di Adalpret von Rafenstein, da 1219 a 1223 vescovo e principe di Trento e successore di Friedrich von Wangen. La famiglia Rafensteiner si estingue già nel Duecento e nel 1255 i Wagener erano i signori del castello. Nella guerra tra Meinhard II di Tirolo e i vescovi di Trient, il castello Rafenstein e tutti gli altri impianti dei signori devoti al vescovo erano assediati e distrutti. Nel 1358, Konrad von Schinlein ha ricostruito il castello Rafenstein. Da 1400 il castello è stato proprietà di tante famiglie diverse e infine i Toggenburger.

Anche se il castello Rafenstein è parzialmente crollato, vedere le murature di quattro piani è ancora imponente. Per tanto tempo è stato chiuso per sicurezza e poi si è iniziato a fare dei lavori di risanamento e assicurazione. Il castello è aperto al pubblico dal Maggio di 2014.