La intersección del paraboloide y el plano es la circunferencia x^2+y^2=25
Si se hace con coordenadas cartesianas sería
Dominio en x = [-5, 5]
Dominio en y = [-sqrt(25-x^2), sqrt(25-x^2)]
Y el volumen sería
$$\begin{align}&V=\int_{-5}^5\int_{-\sqrt{25-x^2}}^{\sqrt{25-x^2}}(25-x^2-y^2)dy\,dx\\ &\\ &\text{pero por simetrias es}\\ &\\ &V=4\int_0^5\int_0^{\sqrt{25-x^2}}(25-x^2-y^2)dy\,dx\\ &\\ &4\int_0^5 \left[(25-x^2)y-\frac{y^3}{3} \right]_0^{\sqrt{25-x^2}}dx=\\ &\\ &4\int_0^5\left((25-x^2)^{\frac 32}-\frac{(25-x^2)^\frac 32}{3}\right)dx=\\ &\\ &\frac 83\int_0^5(25-x^2)^{\frac 32}dx=\\ &\\ &x=5sent \quad dx=5cost\,dt\\ &x=0\implies t=0\\ &x=5\implies t=arcsen(1)=\frac{\pi}{2}\\ &\\ &=\frac 83\int_0^{\frac{\pi}{2}} (25-25sen^2t)^{\frac 32}·5cost\,dt=\\ &\\ &=\frac {40}{3}\int_0^{\frac{\pi}{2}} (25cos^2t)^{\frac 32}cost\,dt=\\ &\\ &=\frac{40}{3}\int_0^{\frac{\pi}{2}}(5cost)^3cost\,dt=\\ &\\ &\frac{5000}{3}\int_0^{\frac{\pi}{2}}\cos^4t\,dt=\\ &\\ &\frac{5000}{3}\int_0^{\frac{\pi}{2}}\left(\frac 12+\frac{\cos 2t}{2}\right)^2dt=\\ &\\ &\frac{5000}{3}\int_0^{\frac{\pi}{2}}\left(\frac 14+\frac{\cos 2t}{2}+\frac{\cos^2 2t}{4} \right)dt=\\ &\\ &\frac{5000}{3}\int_0^{\frac{\pi}{2}}\left(\frac 14+\frac{\cos 2t}{2}+\frac 18+ \frac{\cos 4t}{8} \right)dt=\\ &\\ &\frac{5000}{3}\left[\frac{3t}{8}+\frac{sen\,2t}{4}+\frac{sen\, 4t}{32} \right]_0^{\frac{\pi}{2}}=\\ &\\ &\frac{5000}{3}\left(\frac{3\pi}{16}+0+0-0-0-0 \right)=\\ &\\ &\frac{5000\pi}{16}=\frac{625\pi}{2}\approx 981.74770422\end{align}$$
Pues lo tienes bien hecho, es el libro el que tiene las respuestas equivocadas.
Y con cilíndricas
ro entre 0 y 5
theta entre 0 y 2pi
jacobiano = ro
$$\begin{align}&V=\int_0^5\int_0^{2\pi}\int_0^{25-x^2-y^2}\rho \,dz\,d\theta\,d\rho\\ &\\ &\\ &\text{Como el cambio de variable es:}\\ &x=\rho \cos \theta\\ &y =\rho sen\,\theta\\ &tenemos\\ &x^2+y^2 = \rho^2\\ &\\ &V=\int_0^5\int_0^{2\pi}\int_0^{25-\rho^2}\rho \,dz\,d\theta\,d\rho=\\ &\\ &\int_0^5\int_0^{2\pi}\rho z|_0^{25-\rho^2}\,d\theta\,d\rho=\\ &\\ &\int_0^5\int_0^{2\pi} \rho(25-\rho^2)\,d\theta\,d\rho=\\ &\\ &\int_0^5 \rho(25-\rho^2)\theta|_0^{2\pi}\,d\rho=\\ &\\ &2\pi\int_0^5(25\rho-\rho^3)d\rho=\\ &\\ &2\pi\left[\frac{25\rho^2}{2}-\frac{\rho^4}{4} \right]_0^5=\\ &\\ &2\pi\left(\frac{625}{2}-\frac{625}{4}\right)=\\ &\\ &2\pi\left( \frac{2·625-625}{4}\right)=\\ &\\ &\\ &2\pi \frac{625}{4}=\frac{625\pi}{2}\approx 981.7477042\\ &\\ &\end{align}$$
Y con esta ya van dos, aparte del ordenador que confirma lo que he hecho. Luego las respuestas del libro están mal. Llevo aquí contestadas más de 7000 preguntas, y son muchos los casos donde las respuestas de los libros están mal.
Y eso es todo.