¿Quieres encontrar todos los pares de enteros que verifiquen eso?
¿Y es el cuadrado de (un numero disminuido en 8) o (el cuadrado de un numero) disminuido en 8?
Imagino, quizás me equivoco, que buscas todos los pares de enteros (x,y) tal que (x-8)2=y/3.
Si desarrollas esa ecuación te da 3x2-3*16x+3*82-y=0
Si lo ves como polinomio en x, calculas el discriminante (b2-4ac cuando el polinomio es aX2+bX+c) y te da 12y.
el valor de y tiene que ser positivo puesto que (x-8)2=y/3.
Entonces x=(-b+sqrt(discrimante))/2a o x=(-b-sqrt(discrimante))/2a, es decir x=(3*16+sqrt(12y))/6 o x=(3*16-sqrt(12y))/6.
Lo que nos da x=8+sqrt(3y)/3 o x=8-sqrt(3y)/3.
Pero x es entero entonces sqrt(3y)/3 es entero, entonces y=3k2 donde k es un entero.
Después si y=3k2 entonces, como x=8+sqrt(3y)/3 o 8-sqrt(3y)/3, tenemos que x=8+k o x=8-k.
Entonces si un par de enteros (x,y) es solución, entonces se escribe (8+-k,3k2).
Después sólo hay que checar que todos esos pares son solución para concluir que el conjunto de los pares de enteros soluciones de la ecuación es exactamente {(8+-k,3k2), k entero}.