Comenzando por la toponimia, el vocablo proviene del árabe “Alqsar”, y se puede definir como que un alcázar o palacio real, una fortaleza o asentamiento fortificado. En cuanto a Milmanda, proviene do latín “milvus” que por asimilación se trata de una fortaleza natural situada en un lugar o montículo poco accesible y fortificado, sobre el cual vuelan las águilas u aves rapaces, además de ser el lugar en el cual anidan.
Polo tanto el Alcázar de Milmanda se trata de una fortaleza o asentamiento fortificado situado sobre un lugar o montículo poco accesible, tratándose de una región en la cual anidan águilas y otras aves rapaces.
El Alcázar de Milmanda, pudo ser originalmente un asentamiento castrexo, posteriormente en el siglo X perteneció al monasterio benedictino de Celanova, por tanto, el señorío de Milmanda se traspasó al abad de Celanova.
En siglo XII debido a las continuas guerras de separación con Portugal, la corona española realizo numerosas reformas y ampliaciones en la fortaleza. Alfonso VII traspaso el señorío de Milmanda a Sancho Eanes, cuarto hijo de Fernando Eanes, el cual era capitán en las guerras contra Portugal. Fernando Eanes era conde de Allariz y poseía el Castillo de Allariz.
Alfonso IX, en 1199 concede foro Real a Milmanda, expedido desde Benavente, en él se señalaba un alfoz, entre el Arnoia y la frontera con Portugal. También forzó la repoblación de Milmanda por parte de lo aforados de Celanova, resultando equiparadas la población del ayuntamiento de Milmanda con las demás poblaciones que tenian foro real; entre ellas Allariz, Ribadavia, Castro Caldelas y Milmanda.
Alfonso IX visito Milmanda no ano 1213. En 1217 incluye Milmanda entre los castillos que constituían la dote de sus hijas de su primer matrimonio, Sancha e Aldonza, creando así el reino de Galicia. De esta forma su hijo Fernando III no podía reinar en este lugar. Sú madre Doña Berenguela redimió esta carga.
Fernando III en 1232 estuvo en Milmanda confirmando las disposiciones de la repoblación. Alfonso X declaró exentos de portazgos a los vecinos de Milmanda. Sancho IV confirmo el foro de Alfonso IX, así como la exención portante y las de realengo, debido a un pleito con Celanova. Detalles que revelan el realengo son la leprosería y una feria el día 8 de cada mes.
En las guerras por la corona de Pedro I, era señor de Milmanda Suero Yáñez de Parada y alcalde mayor Payo de Araujo. En 1366, Juan Rodríguez de Biedma, se alzó en favor de don Henrique de Trastámara con las fortalezas reales. Pero los leales a Pedro I lanzaron una ofensiva, mandados por su cuñado Fernando de Castro, recuperando las tenencias de Allariz y Milmanda. Men Rodríguez de Sanabria, don Fernando y Yáñez de Parada, leales a Pedro I, lo acompañaron en su itinerario que acabo en Montiel. Yáñez y Men lograron fugarse y exiliarse en Portugal, ofreciendo sus servicios a Fernando I , yerno del rey asesinado, al que Galicia consideraba su sucesor.
Fernando I de Portugal, con el apoyo de la nobleza gallega, puso su corte en Milmanda 1369, ocupando las ciudades gallegas con Henrique y envió sus compañías blancas. Es probable que la corte de Fernando se mantuviese en Milmanda hasta el año 1372, terminando con esta pugna. Henrique II confisco Milmanda a Yáñez de Parada, casando a su hijo bastardo , don Fradique, con una hija de Fernando I de Portugal, creando para él, un dominio territorial que incluía el Bierzo, Sanabria, Monterrey, Allariz e Milmanda, nombrándolo duque de Milmanda. Posteriormente, en 1383, Milmanda vuelve a manos de la corona, debido a os grandes alborotos que realizaba Fradique contra su rey y hermanastro Juan I.
Juan II cedió el señorío de Milmanda en 1446 a los Pimentel, condes de Benavente. En 1448, el yerno de Pimentel Álvaro de luna, ordenó a don Pedro Álvarez Osorio, encomendador de Ourense, que le arrebatasen las fortalezas. Este propósito no fue conseguido hasta el año 1453, tras numerosas batallas. Juan II murió en 1454 y su hijo devolvió los castillos a los condes de Benavente. En 1475, los vecinos de Milmanda tuvieron que reconstruir el Castillo, debido a las Revueltas Irmandiñas.
Los condes de Benavente pusieron por alcalde mayor del Castillo y tierras de Milmanda y merino de toda jurisdicción al señor de Vilardecás, Francisco Feijoo Sotelo. Esta contaba con más de 4000 vasallos. En esta época en la jurisdicción portuguesa de Melgaço condenaron a la horca a un hidalgo de Milmanda. Feijóo con cuarenta hombres partieron hacia Melgaço y lo rescataron. El duque de Bragança se puso en pie de guerra enviando a 6000 hombres, y el conde de Benavente otros tantos, iniciando una guerra peninsular, en la cual los reyes de España y Portugal intervinieron con la condición de que Feijóo dejase el mando de Milmanda. Los Pimentel lo enviaron a castilla como alcalde del castillo de Portillo, y en 1487 era teniente de Milmanda don Juan Pimentel, hermano del conde.
En 1527, el señorío de Milmanda paso el marquesado de Viana, en la persona de Juan Pimentel, y más tarde paso a sus sucesores, los marqueses de Malpica. En el año 1550 Milmanda era una de las principales fortalezas gallegas.
Milmanda , vuelve a recuperar su misión de frontera, en las guerras hispano-portuguesas en la edad moderna: la de separación en el año 1641 y la de sucesión en el año 1701. En esta última los portugueses atacaron con mucha fuerza, obligando a los defensores a refugiarse en Celanova. En el contraataque, las tropas españolas vencieron las portuguesas cerca de Acebedo, obligando a estas a retroceder a Portugal.
La desaparición de la torre de homenaje fue como consecuencia de la desamortización de los bienes señoriales, iniciada a mediados del siglo XIX, posteriormente transformada en iglesia parroquial, para la cual aprovecharon el antiguo torreón como campanario.