Nach zahlreichen Besitzwechseln kam es bis 1573 zu zahlreichen baulichen Veränderungen. Im 16. Jahrhundert wurden die letzten Veränderungen unternommen. Der heutige Eingang, die Tortürme und einige Umbauten im Inneren der Burg wurden umgesetzt. Im 18. Jahrhundert war die Burg schon teilweise verfallen. Ferdinand von Miller und seine Erben restaurierten das Schloss historisch korrekt. In den letzten Jahren hat die Gemeinde Karneid weitere Sanierungsarbeiten durchgeführt und als Gegenleistung dafür die Zustimmung erhalten, öffentliche Veranstaltungen in der Burg anbieten zu können. Seit Frühjahr 2006 kann die Burg in den Monaten von April bis Oktober besichtigt werden.