En su origen fue un castro, y luego una ciudadela romana. Cuando en 1178 Ponferrada pasa a depender de la Orden del Temple por donación de los reyes leoneses, los templarios se encuentran una pequeña fortaleza, que deciden ampliar para mejorar la defensa del Camino de Santiago. Puede visitarse todos días, excepto los lunes.

En su interior destaca el Retablo Mayor, en madera policromada, de la escuela de Gregorio Fernández. Preside el retablo la imagen de la Virgen de La Encina "La Morenica" patrona del Bierzo.

Está ubicado en el edificio conocido como “Casa de los Escudos”, que es toda una atracción en sí mismo. Cuenta con una de las colecciones de receptores de radio más completas de España, propiedad del famoso periodista berciano.

El edificio de la antigua Estación cuenta con una serie de piezas (planos, material gráfico, bibliografía, etc.) que permiten un profundo conocimiento de lo que el ferrocarril y la actividad minera supusieron para la ciudad de Ponferrada a lo largo de todo el siglo XX.