Me parece que al hacer la derivada tuviste un error :(
No te preocupes te resolveré el problema y con calma lo analizas para que se vayan tus dudas :D
$$\begin{align}&\text{De la figura del triàngulo:}\\&\\&5^2=x^2+y^2,\ \text{despejamos y tenemos:}\ y=\sqrt{25-x^2}\\&\\&\text{luego, el àrea del triàngulo efectivamente es (x*y)/2}, \text{sustituimos x en la fòrmula del àrea:}\\&\\&A=\frac{x*\sqrt{25-x^2}}{2},\text{ahora aquì te va un trucazo :)}\\&\text{maximizar A equivale a maximizar}\ A^2\ \ entonces:\\&\\&A^2=\frac{x^2*(25-x^2)}{4}=\frac{25x^2}{4}-\frac{x^4}{4}\\&\\&\text{luego si}A^2=f(x) \ \ entoncesf(x)=\frac{25x^2}{4}-\frac{x^4}{4} \text{es la funciòn a maximizar.}\ \ \text{vaya que esto ahorra muchas cuentas :D}\\&\\&\text{luego, los pasos para maximizar la funciòn son los siguientes:}\\&\\&\text{paso 1:}\\&\text{derivamos f(x), entonces:}\\&f`(x)=\frac{25(2x)}{4}-\frac{4x^3}{4}=\frac{25x}{2}-x^3\\&\\&\text{paso 2:}\\&\text{ La derivada se iguala a cero y se determinan los valores crìticos.}\\&f`(x)=0,\ entonces\ \frac{25x}{2}-x^3=0\\&\text{de donde:}\ \ x_{1}=\frac{-5\sqrt{2}}{2},x_{2}=\frac{5\sqrt{2}}{2} y\ \ x_{3}=0\\&\\&\text{paso 3:}\\&\text{se evalùan los valores crìticos en la segunda derivada para determinar los màximos de la funciòn:}\\&f``(x)=\frac{25}{2}-3x^2\\&\text{entonces para:}\\&x_{1}=\frac{-5\sqrt{2}}{2},\ \ f``(\frac{-5\sqrt{2}}{2})=-25<0\ \ màximo\\&\\&x_{2}=\frac{5\sqrt{2}}{2},\ \ f``(\frac{5\sqrt{2}}{2})=-25<0 \ \ màximo\\&\\&x_{3}=0,\ \ f``(0)=\frac{25}{2} >0\ \ mìnimo\\&\\&\text{entonces, ya sea para x1 o x2, el àrea es màxima, luego sustituyendo en la ecuaciòn de pitàgoras:}\\&\\&25=(\frac{5\sqrt{2}}{2})^2+y^2,\ \ entonces: y=\frac{5\sqrt{2}}{2}\\&\\&\text{Por lo tanto, los valores que haràn el àrea màxima son:}\\&\\&x=\frac{5\sqrt{2}}{2}, y=\frac{5\sqrt{2}}{2}\\&\\&\\&\\&\\&\end{align}$$
y listo!
Si gustas te recomiendo cheques tu derivada y lo resuelvas así como lo ibas haciendo, deberá salirte lo mismo, pero serán màs cuentas y es algo pesado :(
Si tienes duda, me preguntas