Wegen der besonders regelmäßig gemauerten Mauern wurde der Bergfried manchmal in die Römerzeit datiert und wird immer noch teilweise Römerturm genannt. Tatächlich finden sich keine Belege über die Errichtung oder die früheste Zeit der Burg Goyen.

Ältester und am stärksten ausgebildeter Teil ist der an der höchsten Geländestelle erbaute Bergfried mit rechteckiger Grundform und über 2 Meter dicken Mauern. Den Bergfried umzieht in lediglich 2 bis 3 Metern Abstand eine 9 Meter hohe Ringmauer. Von dieser Ringmauer ausgehend verläuft eine weitere Mauer Richtung Süden und Westen und umfasst die unterhalb des Turms liegenden Burghöfe und die weiteren Gebäude der Burg.

1369 hinterließ Burggraf Petermann von Schenna mit seinem Testament Burg Goyen an seine Frau. Etwas später scheint ein Milser von Klamm als Besitzer auf. Aber bereits 1384 verkauft dieser die Burg an die Ritter Friedrich von Greifenstein und Hans von Starkenberg.

Nach einer Belagerung 1422 müssen die Starkenberg die Burg aufgeben, hinfort wird sie von Knechten im Auftrag der Landesfürsten besetzt gehalten. Kaiser Maximilian I. belehnt schließlich die Botsch mit Burg Goyen, später geht der Besitz an die Stachelburg. Nach dem Tod des Johannes von Stachelburg in der Schlacht am Bergisel ging Burg Goyen an seine Töchter. In der Folge wird die Burg von Pächtern bewohnt, sie verfällt zusehends. Erst der Holländer Jan B. van Heck, ab 1927 im Besitz der Burg, lässt Sicherungs- und Renovierungsarbeiten vornehmen.