Zamek ten powstał na zlecenie Kanclerza Wielkiego Koronnego Jakuba z Dębna jako siedziba rodowa jego rodziny.
Na miejscu murowanej budowli stała jej drewniana wersja otoczona fosą oraz wałem ziemnym. Budowniczym tej drewnianej wersji był komes Światosław kasztelan wiślicki, któremu owe ziemie nadał Bolesław Wstydliwy. Przez lata władali owymi ziemiami Pobogowie, a potem przeszły one w ręce bogatego rodu Odrowążów. Z którego wywodził się właśnie Jakub z Dębna.
Potem zamek zmieniał właścicieli byli nimi m.in: Rogowscy, Rudniccy, Lanckorońscy czy Jastrzębscy. Mimo, że właściciele się zmieniali, to bryła zamku pozostawała taka sama.
Gdy przyjrzeć się zamkowi z bliska widzimy herby rodziny Odrowążów. Pozostały też renesansowe opaski okienne na których widzimy sgrafitta. Przy każdym skrzydle znajdują się wieżyczki, które pełnią dekoracyjną rolę, choć na pierwszy rzut oka sprawiają wrażenie obronnych.
Jedni z właścicieli ukrywali w nim powstańców listopadowych, ryzykując konfiskatą ziem w razie gdyby się to wydało.
Piętro zamku zajmowali właściciele, przez co urządzone było ono z dużym przepychem i miało bogate wyposażenie. Parter zaś był domeną służby i było tu skromne wyposażenie. Zamkowa służba miała za zadanie dbać o właścicieli. Spełniać ich wszelkie zachcianki, jednym słowem być na każde ich skinienie.
Najsłynniejszymi właścicielami zamku byli Tarłowie, bo to z nimi wiąże się pewna legenda. Opowiada ona młodej Tarłównie, która zakochała się w młodym ubogim rycerzu. Jednakże ojciec wyznaczył dla niej innego pana młodego. Z powodu sprzeciwu wobec woli ojca, została żywcem zamurowana w jednej z wież z całym posagiem. Dobrze, że dziś ojcowie tak nie postępują bo skończyło by się to dla niego dożywociem.
