Die 1147 erstmals urkundlich erwähnte Burg, die auch Schloss Hartberg genannt wird, diente ab dem 12. Jahrhundert zur Grenzsicherung. Unter Johann Baptist von Paar, der seit 1571 Eigentümer der Burg war, erfolgte ein Umbau der Anlage in ein Schloss im Stil der Renaissance