En Vilagarcía de Arousa hay noticias de la posible presencia de la Magnolia grandiflora desde principios del siglo XIX. De ser así, el ejemplar de mayor grosor de fuste, por la perimetría alcanzada, podría pertenecer a este tiempo, mientras que el otro llegaría con posterioridad. Sea como fuere, la pareja, considerada como uno de los conjuntos más sublimes del país, permite constatar las excelentes posibilidades de esta especie fuera de su área de distribución natural.

En este pazo se sitúa el origen de la ciudad de Vilagarcía. Su dueño, D. Ruy Fernández de Caamaño, lo recibe en 1390 como feudo de manos del arzobispo D. Juan García Manrique: "Santa Baya de Arealonga (actual Vilagarcía), San Pedro de Cornazo, Santa María de Rubiáns, San Esteban de Sayar y Santa Baya de Nantes, todas en tierras del Salnés...", "por cuanto fuere cortés e obediente vassallo...". D. Ruy decidió reconstruir en la feligresía de Santa María de Rubiáns una vieja torre, que estaba habitada en 1146 por D. Ruy García de Caamaño, antepasado suyo, engrandeciéndola y fijando en ella su residencia, segundo consta en una inscripción sobre una piedra que estaba situada en la pared de la torre y que aún se conserva en el actual pazo de Rubiáns. En ella se puede leer: "Fizo Fernández de Caamaño anno de 1411". En 1440 marcha D. Ruy para acompañar al rey Juan II de Castilla en la batalla de Olmedo y deja como señor de sus posesiones a su segundo hijo, D. García de Caamaño, que el 12 de mayo de 1441 fundaría "mi lugar y puerto de Vila-García."