La siguiente solución es cierta para los reales.
Si suponemos $b=0$, entonces las ecuaciones se reducen a $a^3x=a^3y$ y $a^{10}x=a^{10}y$ (las cuales son equivalentes). De las cuales se deduce fácilmente que: si $a^3=0$, entonces $x$ y $y$ pueden obtener cualquier valor, en otro caso $x=y$ (cualquier valor real) es la solución.
De aquí en adelante asumiremos que $b\not=0$. Ahora bien, si $a+b=0$, $y$ puede obtener cualquier valor mientras que las ecuaciones se reducen a $a^3x=a^9$ y $(3a^2)^5x=(3a^2)^5(a^2)$. Como $a\not=0$, por un lado $x=a^6$ y por otro $x=a^2$ lo cual es posible si y sólo si $a^4=1$.
Asumiendo que $a+b\not=0$, de la primera ecuación se observa que
$(a+b)^3y=(a-b)^3x+2b^3(3a^6+b^6)$.
Como $ (a^2-b^2)^3=(a+b)^3(a-b)^3 $ de la segunda ecuación obtenemos
$((a^2-ab+b^2)^5-(a-b)^6(a+b)(a^3-b^3))x=$
$3a^2b^2(2a^4-a^2b^b+2b^4)(a^2-ab+b^b)^3(a^2+ab+b^2)+$
$+(a-b)^3(a+b)(a^3-b^3)(2b^3)(3a^6+b^6)$.
Con mi programa de matemáticas favorito (wxMaxima) expandimos, factorizamos obteniendo lo siguiente:
$b^2Fx=b^2F(a^2+ab+b^2)^3$ donde $F=2b^8-10ab^7+24a^2b^6-36a^3b^5+45a^4b^4-51a^5b^3+45a^6b^2-24a^7b+6a^8$. Dada nuestra hipótesis, $Fx=F(a^2+ab+b^2)^3$.
Supongamos $F\not=0$, entonces $x=(a^2+ab+b^2)^3$. Al sustituir $x$ en la primera ecuación obtenemos $(a+b)^3y=(a+b)^3(a^2-ab+b^2)^3$. Como $(a+b)^3\not=0$, entonces $y=(a^2-ab+b^2)^3$.
Sólo resta ver el caso $F=0$. De aquí se deduce que
$(a^2-ab+b^2)^5=(a-b)^6(a+b)(a^3-b^3)$ y
$3a^2(2a^4-a^2b^2+2b^4)(a^2-ab+b^2)^3(a^2+ab+b^2)=$
$-2b(3a^6+b^6)(a-b)^3(a+b)(a^3-b^3)$.
Luego la segunda ecuación se obtiene al multiplicar la primera por $(a-b)^3(a+b)(a^3)(a^3-b^3)$.
Luego entonces $y=((a-b)^3x+2b^3(3b^6+b^6))/(a+b)^3$ es la solución.
