Fa 4000 anys en la denominada Edat de Bronze un grup humà va ocupar aquest turó i va alçar les seues construccions en les vessants sud i aquest del lloc, assegurant-se la llum i la calor del sol. L'elecció d'aquest punt no va ser una qüestió d'atzar. Des de l'alt podien accedir visualment a una vasta extensió de territori i controlar qualsevol moviment. El lloc explicaria a més amb un senzill accés a molts recursos per a la seua supervivència.
Aquests primers pobladors subsistien per mitjà de l'agricultura i la ramaderia. També la recol·lecció i la caça formaven part de les seues activitats complementant les seues necessitats alimentàries i obtenint matèries primeres per a la fabricació d'utensilis.
Dominaven la fosa de metalls amb els quals fabricar les seues armes i els útils per al camp i produïen amb ceràmica els seus estris.
1500 anys després que aquelles gents abandonaren el poblat uns altres van veure en aquest altell un bon lloc per a assentar-se. Estem l'any 650 a.n.e. en l'anomenada Edat del Ferro, en l'època en la qual van començar a desenvolupar-se les denominades cultures ibèriques.
Els nous pobladors van construir un poblat amb cases de planta rectangular i murs de pedra i morter sobre diversos aterrossaments. Part d'aquest poblat és el que podem observar avui dia, ja que tot sembla indicar que la seua extensió era major de la qual ocupa actualment el conjunt d'edificis, estenent-se pels vessants.
Aquest grup a més de subsistir amb l'explotació dels recursos agrícoles i ramaders estaven en contacte amb altres pobles que s'acostaven a la costa. Així ho demostren les troballes datades en aquesta etapa entre els quals es troben materials grecs i fenicis, pobles que solcaven els mars intercanviant objectes i matèries primeres per tota la conca mediterrània i que amb el pas del temps fins i tot van ser establint algunes colònies lluny de les seues terres.
El poblat va ser abandonat en aquesta època de forma sobtada, sobre el 550 a.n.e. probablement per un incendi, deixant arrere, quasi intactes diversos objectes que ens parlen del seu dia a dia. Fabricació tèxtil, armament, cuina…
El lloc és ocupat de nou en l'Edat Mitjana, en Època Islàmica que sol datar-se entre els segles VIII-XIII n.e.
Les especials característiques d'aquest lloc van afavorir la seua elecció com a assentament i possible bastió. El lloc estaria segurament relacionat amb altres enclavaments estratègics que es troben en la zona i s'estenen de llarg a llarg de la província.
L'Època Islàmica suposa en la nostra història un moment molt destacable per l'organització del territori, les canalitzacions d'aigua, el desenvolupament de noves formes de conrear i de nous cultius… També va ser una etapa de múltiples divisions polítiques, dependències administratives, lluites de poder, i que va finalitzar després de llargs anys d'enfrontaments, conquestes, acords i ruptures dels mateixos amb els reis i senyors cristians de l'època.
L'enclavament de Santa Llúcia al costat d'altres castells i torres van ser testimonis de tots aquests avatars de la història. A poca distància es troba el castell d'Alcalá de Xivert, també amb vestigis d'ocupació ibèrica, i el castell Santa Magdalena de Polpís. Més enllà els castells de Peníscola al nord i Oropesa al sud en la línia de costa i entre ells torres com les de Ebrí i Badúm, entre altres que van conformar tot un sistema de vigilància i comunicació al llarg de la província i que van seguir prestant servei segles més tard.
Santa Llúcia va ser coronada finalment per una fortalesa medieval que inclou una torre de planta circular i un llenç que configura una edificació de planta rectangular. Aquesta edificació va ser finalment aprofitada en el segle XVII per a erigir l'ermita que avui dia ens trobem.