Kozarac je stariji od Prijedora. U pisanim dokumentima prvi put se spominje još 1334. godine, a Prijedor, u pravom smislu, tek od sredine 18. stoljeća.
U Kozarcu je u to vrijeme uveliko već bila sagrađena tvrđava.
Njena gradnja počela je 1678. godine, stoljeće i po otkako su Kozarac preuzele Osmanlije, a na osnovu podataka iz historijskih dokumenata, dograđena je i prepravljena 1736. I to na mjestu sadašnjeg Starog grada u Kozarcu.
