En Vilagarcía de Arousa hai noticias da posible presenza da Magnolia grandiflora desde principios do século XIX. De ser así, o exemplar de maior grosor de fuste, pola perimetría alcanzada, podería pertencer a este tempo, mentres que o outro chegaría con posterioridade. Sexa como for, a parella, considerada como un dos conxuntos máis sublimes do país, permite constatar as excelentes posibilidades desta especie fóra da súa área de distribución natural.

Neste pazo sitúase a orixe da cidade de Vilagarcía. O seu dono, D. Ruy Fernández de Caamaño, recíbeo en 1390 como feudo de mans do arzobispo D. Xoan García Manrique: "Santa Baya de Arealonga (actual Vilagarcía), San Pedro de Cornazo, Santa María de Rubiáns, San Esteban de Sayar y Santa Baya de Nantes, todas en tierras del Salnés...", "por cuanto fuere cortés e obediente vassallo...". D. Ruy decidiu reconstruír na freguesía de Santa María de Rubiáns unha vella torre, que estaba habitada en 1146 por D. Ruy García de Caamaño, antepasado seu, engrandecéndoa e fixando nela a súa residencia, segundo consta nunha inscrición sobre unha pedra que estaba situada na parede da torre e que aínda se conserva no actual pazo de Rubiáns. Nela pódese ler: "Fizo Fernández de Caamaño anno de 1411". En 1440 marcha D. Ruy para acompañar o rei Xoan II de Castela na batalla de Olmedo e deixa como señor das súas posesións ao seu segundo fillo, D. García de Caamaño, que o 12 de maio de 1441 fundaría "o meu lugar e porto de Vila-García."