La población de Torres Torres se fue formando a la sombra de las murallas de su fuerte castillo que dominaba este lugar de paso obligado entre los reinos de Valencia y Aragón .La traza de los restos que existen del castillo denotan su procedencia árabe. Este lugar debió ser punto de parada y descanso en la larga ruta entre las tierras altas del interior y el mar durante muchos siglos, formando parte del Camino del Cid en el siglo XI, siendo conquistado por capitulación siglo y medio después por Jaime I.
En el libro del Repartimiento aparece la donación, en el año 1240, de la población de Torres Torres y su castillo al caballero Beltrán de Bellpuig, al cual le sucede su hijo don Garcerán quien estuvo casado con una hija del Conde de Cardona y de Prades. Obtuvo un privilegio del Rey don Pedro de Aragón, dado en Valencia en octubre de 1319, loando y confirmando la donación perpetúa hecha en otro anterior privilegio, expedido en Zaragoza el 8 de septiembre de 1318, a favor de dicho Garcerán, de la jurisdicción de Torres Torres, Serra, Polop y sus términos. Don Jaime de Bellpuig sucedió a su padre en 1348, según consta en documentos en los cuales aparece como señor de la Baronía de Torres Torres. Don Beltrán, hijo del anterior, vendió la baronía en el año 1445 a Juan Vallterra el Antiguo.
Su castillo construido, al menos, en época califal, está formado por un recinto irregular, ligeramente cuadrangular, de altos muros, flanqueado por cuatro gruesas torres circulares, una de las cuales defendía el acceso al mismo, ocupando todo él una extensión de unos 2.000 m2. Un segundo recinto interior protegía el paso a la zona donde debían situarse las dependencias habitables, dejando fuera del mismo la pequeña explanada que formaba el albacar.
En su centro se levanta una sólida y gran torre rodeada de una fuerte camisa perimetral que la protegía, y que podría ser posterior al resto de la fortificación, dado que los árabes no solían construir este tipo de torre central, y además la técnica de su construcción es distinta a la del resto. El conjunto se levanta sobre una estribación de la montaña de la Ermita, de manera que deja tres de sus muros sobreelevados sobre el resto del terreno, dominando y divisando el valle que discurre a sus pies.
Las murallas, de las que parece ser se construyeron en dos etapas, o al menos parten de ella se reconstruyó posteriormente, están construidas con dos tapiales diferentes, las que forman el recinto exterior, aparentemente más modernas, están realizadas empleando la técnica de muro a saco, colocando dos hiladas de mampuestos de cierta entidad formando las caras exteriores del muro, rellenando los espacios libres con un hormigón formado por abundante cal y árido grueso.
Esta muralla del primer recinto se levanta en parte directamente sobre la roca de asiento, y está formada en su primer tramo por un muro de mampostería de mayor grosor que el tramo superior, resultando un zócalo muy consistente y protegido de humedades directas y provenientes del intradós, que en este caso parece terreno natural, aunque en otras zonas del trazado se trate de un relleno de nivelación.
Las murallas que encierran el segundo recinto, al parecer más antiguas que las anteriores, están realizadas de manera diferente. En este caso se empleó un tapial calicostrado, formado por una argamasa muy compacta tipo hormigón, formada por cal, arena, ripios y demás áridos, con un paramento protector de cierto grosor de mortero de cal ejecutado en dos capas, la primera algo más basta, mezclada con árido fino, de regularización de la superficie del soporte, y la segunda a base de un mortero de cal. En este caso se reforzaron las esquinas con sillares, resultando con todo ello una sólida y consistente muralla.
De la torre del Homenaje hoy en día solo quedan en pie sus muros de cerramiento, no existiendo ningún forjado de las plantas interiores que tuvo. En los muros se aprecian las señales de apoyo de al menos tres de estos forjados, que al parecer se derrumbaron después de 1875, pues según tradición oral la torre fue ocupada por las tropas durante la segunda guerra carlistas, época de la que se abrieron y cegaron algunos huecos en función de las necesidades de defensa
Corbalán de Celis, Cronista de Torres Torres