Został wybudowany w latach 1621-1644 jako rezydencja magnacka Krzysztofa Ossolińskiego, wojewody sandomierskiego. W okresie swojej świetności był najpiękniejszą rezydencją ówczesnej Rzeczypospolitej, przewyższającą pod względem rozmachu założenia i bogatego wyposażenia wszystkie inne. Bywa nazywany „polskim Wersalem”.

Zamek należy do późnorenesansowych budowli włoskich. Na ziemiach polskich jest najbardziej oryginalnym i najwspanialszym przykładem założenia architektonicznego typu „palazzo in fortezza”, w którym po mistrzowsku wstawiono pałac w nowoczesną, pięciobokową fortyfikację typu bastionowego. Całość rezydencji charakteryzuje się w zakresie kompozycji przestrzennej harmonijnym zastosowaniem architektonicznych motywów sztuki barokowej i manierystycznej.

Główną dekorację bramy wjazdowej, prowadzącej na zamkowy dziedziniec, stanowią dwie masywne płaskorzeźby, od których wzięła się funkcjonująca obecnie nazwa rezydencji: krzyż, symbolizujący kontrreformacyjne przekonania fundatora, oraz topór, herb rodziny Ossolińskich.

Według tradycji, zamek został zbudowany na wzór kalendarza i posiadał 4 baszty – tyle ile jest pór roku, 12 dużych sal – tyle ile jest miesięcy, 52 komnaty – tyle ile jest tygodni i 365 okien – tyle ile jest dni w roku.

Nad jednym z pomieszczeń w wieży ośmiobocznej znajdował się podobno szklany strop wypełniony wodą, będący akwarium z egzotycznymi rybkami. W położonych pod ziemią zamkowych stajniach znajdowały się marmurowe żłoby i kryształowe lustra, które doświetlały stajnie, odbijając wpadające przez małe okna światło. To tylko niektóre elementy, świadczące o przepychu i bogactwie rezydencji.

Krzyżtopór został zajęty przez wojsko szwedzkie w 1655 roku w czasie „potopu”, po czym Szwedzi ograbili zamek z kosztowności i elementów wyposażenia. W ten sposób zakończył się krótki okres świetności rezydencji. Kolejni właściciele zajmowali tylko niektóre pomieszczenia pałacowe, nie byli w stanie utrzymać w całości tak wielkiej rezydencji. Krzyżtopór powoli popadał w ruinę. W czasie konfederacji barskiej w 1770 roku prawdopodobnie Rosjanie spalili pozostałe jeszcze elementy drewniane i od tej pory Krzyżtopór jest największą na naszych ziemiach ruiną z okresu staropolskiego. Do dzisiaj zadziwia rozmiarami i zastosowanymi rozwiązaniami architektonicznymi i inżynierskimi, w wielu miejscach unikalnymi w skali ogólnopolskiej, a nawet europejskiej.