Su ubicación, casi en la misma muga de Aragón, en un impresionante valle, certifica su origen, una construcción de los siglos X-XI sobre roca construida con un objetivo defensivo, en principio como torre de señales y vigilancia. A esta torre, llamada del Homenaje se fueron añadiendo estancias, quizás por la existencia del agua fresca de su aljibe. El polígono delantero alojaba estancias señoriales y el trasero se habilitó para bodegas, graneros y otros servicios. En 1516, el Cardenal Cisneros ordenó arrasar los muros exteriores que rodeaban la fortaleza, desmochar las torres, cegar los fosos con las piedras de las almenas, inutilizar los matacanes y saeteras y destruir los puentes levadizos, por donde actualmente se accede al interior.

En la actualidad, el castillo tiene 3 torres: La torre del Homenaje o de San Miguel, la torre del Cristo en la parte oeste y la torre de Undués. La torre del Homenaje sobresale del resto del conjunto por su altura y esbeltez. Apenas tiene saeteras y vanos, y está rematada en almenas rectangulares.A su alrededor hay un recinto que la protege.

La torre del Cristo es de gran interés. Tiene una capilla con un crucifijo gótico de nogal, El Cristo de la sonrisa. Talla del siglo XIV, que según la tradición sudó sangre en los momentos difíciles de la vida de San Francisco Javier, la última vez, el día de su muerte. Está rodeado por unas pinturas en la pared, de gran interés artístico que simbolizan la Danza de la Muerte.

El castillo de Javier es un entramado arquitectónico construido en piedra perfectamente labrada, colocada y unida para dar una sensación de estructura férrea y compacta. Junto al castillo, se construyó una iglesia neorrománica con la misma piedra que la del castillo para que no rompiese con la armonía del conjunto.

Se encuentra en buen estado de conservación. En el año 1901 fue restaurado por los duques de Villahermosa, y convertido en la casa-museo de San Francisco Javier. Se puede ver la habitación de San Francisco Javier.

Fue declarado Bien de Interés Cultural por el Decreto Foral del 2 de febrero de 1994. Bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.