Como $a-b=p$ entonces $a=p+b$. De ahi sustituimos en $ab=k^2$ y obtendrémos $k^2=ab=(b+p)b=b^2+pb$, en resumen:
$b^2+pb-k^2=0$ (notemos mi desesperado intento por crear una ecuacion cuadratica o un cuadrado perfecto)
Bueno, y despues de una larga hoja de factorizaciones, completé un cuadrado y quedo así (omito algunos pasos ya que es muy largo :-P):
$$ (2b+p-2k)(2b+p+2k)=p^2 $$
Hemos obtenido entonces una factorización de $p^2$ con dos factores enteros donde, además, el primer factor ( $2k+p+2k$) es estrictamente mayor que el segundo ($2k+p-2k$). De aqui que, la única posibilidad es $(2b+p+2k)=p^2$ y $ (2b+p-2k)=1$ .
Sumando las últimas dos expresiones y dividiendo entre 2, tenemos que $2b+p=(p^2+1)/2$. Ahora sí, ya tenemos algo más útil. De la última expresión, podemos despejar muy directamente y obtener que
$a=[(p+1)/2]^2$, $b=[(p-1)/2]^2$
Entonces, las soluciones son:
$$ (a,b)=([\frac{p+1}{2}]^2,[\frac{p-1}{2}]^2) $$
La soluciones son para p un primo impar, pues para dos no queda entero.
Faltaría entonces comprobar que efectivamente para todo primo p impar, los números a y b son solución:
$$ a - b = (\frac{p+1}{2})^2 - (\frac{p-1}{2})^2 = \frac{(p+1)^2 - (p-1)^2}{4} = p $$
Entonces, efectivamente $a-b=p$, por otro lado $ab$ sí es un cuadrado perfecto pues ambos factores son cuadrados perfectos.
Bueno, pues esa es mi solucion. No se si sea la unica pero bueno, nos vemos, ¡saludos!
Discusión intuitiva.
De inicio podríamos pensar que nos encontramos con un problema muy complicado o incluso imposible ya que tenemos dos ecuaciones para cuatro incógnitas, las ecuaciones que tenemos son a-b=p (con p un primo) y ab = k^2 (con k un entero). Sin embargo, con unos trucos algebraicos es posible llegar a la solución.
Solución –reconstrucción de la discusión intuitiva
Despejando de la ecuación (1) a-b=p tenemos que a=p+b, sustituyendo en (2) ab=k^2 obtenemos (p+b)b=k^2, así vemos que k^2 tiene un factor b, así k=lb. Tenemos entonces (p+b)b=l^2b^2 doubleleftright p+b=l^2b, es decir p=(l^2-1)b, como p es un número primo, solo tiene como factores al uno y a sí mismo, de lo que deducimos que b=1 y l^2-1=p. Así, p=l^2-1=(l+1)(l-1), como p es primo, uno de ambos factores debe ser 1, entonces l=2, p=3. Por lo tanto, la única solución es a=4, b=1.