Schon seit 1215 wacht über Škofja Loka, dem Ort am Zusammenfluss der Selška und der Poljanska Sora, eine mächtige Festung. Die ursprüngliche Burg, die die Freisinger Bischöfe errichteten, wurde beim Erdbeben von 1511 schwer beschädigt.
Man restaurierte ihn gründlich, baute die Schlosskapelle an und errichtete später noch einen neuen Trakt mit Saal und verband ihn über Treppenbauten mit dem Kloster. Im Schloss wohnten die Ursulinen, es befand sich darin eine Mädchenschule, heute sind darin das Museum von Loka und das Postmuseum untergebracht.
Die Sammlungen des Loka-Museums zeigen das historische, kunsthistorische, kulturelle, ethnologische und natürliche Erbe des Gebiets von Škofja Loka.