Sean x e y los números
x^2 + y^2 = 100
Y debemos maximizar
f(x, y) = xy
Pero de momento creo que no has dado como se calculan máximos de funciones de dos variables. Lo que debemos hacer es expresar el producto como función de una variable.
Despejamos y en la primera ecuación
x^2+y^2 = 100
y^2 = 100 - x^2
y = sqrt(100-x^2)
entonces el producto será
f(x) = x · sqrt(100-x^2)
y calculamos la derivada e igualamos a cero para calcular el máximo
$$\begin{align}&f'(x) = \sqrt{100-x^2}+x \frac{-2x}{2 \sqrt{100-x^2}}=0\\ &\\ &\\ &\sqrt{100-x^2}- \frac{x^2}{\sqrt{100-x^2}}=0\\ &\\ &\\ &\frac{100-x^2-x^2}{\sqrt{100-x^2}}=0\\ &\\ &\\ &100-2x^2=0\\ &\\ &2x^2=100\\ &\\ &x^2 = 50\\ &\\ &x = \sqrt{50}\\ &\\ &y=\sqrt{100-x^2}=\sqrt{100-50}=\sqrt{50}=5 \sqrt 2\end{align}$$
Luego los dos números son iguales y su valor es 5 raíz de 2 = 7.071067812
Y eso es todo.