Construido en el Siglo XII por la cultura musulmana, este gran edificio alberga mucha historia. En sus orígenes era un castillo prácticamente inexpugnable, ya que está situado de forma estratégica para evitar que los enemigos accedieran a el. Por su parte delantera corrían las aguas de la actual balsa de la Alameda, que provienen del Lago de Anna, y por su parte trasera se encuentra un acantilado que hacía imposible el acceso al edificio. Cabe destacar la gran riqueza de acequias que esta cultura dejó en la población, aprovechando la gran cantidad de nacimientos que en ella hay. 

Durante los siglos XV y XVI, Don Fernando Pujades Olim Borja y su esposa Francisca Alapont Relleu, se convierten en los primeros Condes de Anna, haciendose cargo del Castillo y llevando a cabo los trabajos de remodelación para hacerlo habitable por la familia.

En el siglo XVII, la familia Cervellón ya como Condes de la Villa de Anna comienzan la conversión de Castillo a Palacio. Siendo el paso de esta familia el más importante de la historia de Anna, ya que tras el terremoto sufrido en 1748 los Condes deciden abrir las puertas del ya Palacio a los habitantes de Anna que se habían quedado sin hogar.

Los últimos Cervellón se marcharon a finales del siglo XIX, tras un pleito con un vecino de la población por la construcción de un harinero en la parte posterior del Palacio.

La última familia de propietarios fueron los Trenor, quienes llevaron a cabo una serie de ventas de la superficie total del Palacio, hasta que en 1980 el Ayuntamiento negocia con la familia y el Castillo Palacio pasa a ser de todos los anneros y anneras.