Geht man die Schloßgasse hinauf, kommt man zum Schloss Spitzenberg.
Oft ging dieses Schloss in Flammen auf. Nach dem großen Brand von 1865 wurde es erst wieder im Jahre 1917 aufgebaut.
Zu den bedeutendsten Besitzern von Schloss Spitzenberg zählte Dr. Friedrich Mauerkircher, der 1485 als Bischof von Passau starb.
Die Reste der Ringmauer, die man noch entlang der Schloßgasse sehen kann, stammen noch aus der Zeit, als Bischof Mauerkircher Besitzer war.