Die Geschichte der ursprünglichen Burg reicht bis in das 12. Jahrhundert zurück.
Zwischen 1609 und 1610 ließ Achaz Fenzl die Veste in ein Renaissanceschloss umbauen. Eine weitere wichtige Vergrößerung fand zwischen 1680 und 1690 unter Sigmund Friedrich Freiherr von Engl statt. Dabei wurde das Schloss vermutlich auf den Resten einer Ringmauer um die alte Burg erbaut und das noch brauchbare Mauerwerk wurde als Baumaterial für das Schloss verwendet.
Die letzten Besitzer des Schlosses, die es noch im ursprünglichen Zustand bewohnten, war ab 1936 die Familie des Freiherrn von Lederer.
Am 6. Juni 1944 stürzte der Turm des Gebäudes ein, etwa um die gleiche Zeit auch das Dach des Schlosses. In der Folge verfiel das Gebäude weiter, sodass Ende des 20. Jahrhunderts nur noch wenige Mauerreste existierten
Heute ist ein Verein, um die Restaurierung und den Wiederaufbau des verfallenen Gemäuers, dieses einstigen stolzen Schlosses bemüht. Durch diese Arbeiten soll das schöne Ausflugsziel noch einige Jahrzehnte der Nachwelt erhalten bleiben.
