Experimentando un poco con números pequeños se puede ver que $(x,y)=(1,2)$ resulta en $k=3$. Lo mismo es cierto para $(x,y)=(1,1).$ También se puede observar que $x=y$ resulta en $(2x^2+1)/x^2=2+1/x^2$, lo cual obliga a $x=\pm 1$ y se obtiene de nuevo $k=3$. Ya tenemos tres casos y en los 3 se tiene $k=3$. Conjetura: $k=3.$ Refuerzo: $y=mx$ obliga $x=1$ y se obtiene de nuevo 3 (y tenemos toda una familia de soluciones con $k=3$).
Vamos a demostrar que todos los valores enteros posibles de $k$ consisten en el singulete $\{3\}$. Para ello consideremos una solución $(a,b)$ --que existe, como
se exhibió en los ejemplos-- y $k$ fija. Vamos a "mover" $a$ pero manteniendo la $k$ fija. Es decir, consideremos la ecuación $(z^2+b^2+1)/zb=k$, la cual da lugar a la cuadrática $z^2-kbz+b^2+1=0.$ Por construcción, $z=a$ es una de sus raíces. La otra raíz $z_1$, según Vieta, debe cumplir $z_1=kb-a=(b^2+1)/a.$
De la primera ecuación de Vieta se infiere que $z_1$ es entero; de la segunda, que es positivo (pues $a$ y $b$ son enteros positivos). Tenemos ahora otra solución $(z_1,b)$ de la ecuación original que resulta en un cociente $k$.
Podemos suponer, sin pérdida de generalidad (dada la simetría entre $x$ y $y$), que $1\leq b\leq a$. Si $a=b$, se puede concluir que $a=1=b$, y $k=3$. Ésta es entonces la solución minimal (en el sentido de que minimiza la suma a+b).
Si, por otro lado, $b$ fuese menor que $a$ entonces $\displaystyle b^2+2b+1 \leq a^2.$ Es decir, $b^2+1\leq {x^2-2b}.$ De aquí que $z_1$ sea menor que $a.$ Hemos logrado entonces una solución a la ecuación original que tiene una suma menor que la solución inicial: $z_1+b$ es menor que $a+b$. Es decir, gracias a Vieta, hemos "saltado" de una solución inicial $(a,b)$ a una solución $(z_1,b)$ con suma menor, y el mismo valor del cociente $k$.
Si $z_1=b$, obtenemos $k=3$ (como ya se explicó). De otra manera, repitiendo la cadena de deducciones, pero con solución inicial $(z_1,b)$ y soltando $z_1$, podemos saltar, gracias a Vieta, a una solución $(z_2,b)$ con una suma menor que $z_1+b$.
Claramente, continuando los saltos de Vieta tantas veces como sea necesario, eventualmente se tiene que llegar a una solución $(z_n,b)$ con $z_n=b$, con lo cual $b=z_n=1$ y $k=3$.
En resumen, todos los posibles valores de $k$ se reducen al singulete $\{k\}$. Como se quería.
Nota:
El procedimiento anterior es constructivo. Hay dos variantes de la demostración. Una es iniciar la demostración suponiendo $(a,b)$ la solución minimal con $a = b$; en busca de una contradicción se supone que $a$ es mayor que $b$ y en el primer salto de Vieta se logra la contradicción y se concluye que $a$ y $b$ tienen que ser iguales.
En la otra variante, no se supone minimalidad de la solución $(a,b)$ pero sí
que $a$ mayor que $b$ (bajo la hipótesis general de que $a\geq b$) buscando la contradicción para concluir que no es posible que $a$ mayor que $b$. En esta variante es donde se argumenta con descenso infinito de números positivos, lo cual, de acuerdo al principio del buen orden es imposible.