Pałac Biskupi ulokowany jest w miejscu, w którym na przełomie lat dochodziło do wielu pożarów. Pomimo, że pierwsze wzmianki o budynku pochodzą z XIV wieku, to jego ostateczna forma po wielu przebudowach ukształtowała się w pierwszej połowie XVII wieku.

Według legend i podań w XIX wieku pojawiała się tu biała dama, która prosiła mieszkającego tam biskupa o odpuszczenie grzechów. Tutaj też Henryk Sieniewicz poślubił Marię Romanowską, która już podczas podróży poślubnej zostawiła swojego męża.

Niezaprzeczalnie Pałac Biskupi związany jest z papieżem Janem Pawłem II, który to w 1946 roku przyjął tu święcenia kapłańskie, a następnie w latach 1964-1978 pracował i mieszkał. Po objęciu papieskiego tronu to właśnie Pałac Biskupi był miejscem gdzie zatrzymywał się w trakcie pielgrzymek.

Pałac Biskupi dostępny jest dla zwiedzających tylko z zewnątrz.