Todo esto apuntaría a una integral triple en coordenadas esféricas, pero vamos a hacerlo con una integral simple. Y los elementos que vamos a integrar son lás áreas de las esferas concéntricas. Eso está muy bien porque todos los puntos de una esfera concéntrica tienen la misma densidad.
La esfera de la que tenemos que calcular el volumen es la típica esfera centrada de radio a, eso es teoría de cónicas y cuádricas.
Entonces tomemos una esfera concéntrica de radio x con 0<=x<=a con grosor dx
su superficie es S=4pi·x^2
su volumen es V=4pi·x^2·dx
Y su masa es volumen por densidad, la densidad se supone constante en esa esfera de grosor ínfimo y su valor es d=x^2 según dice el enunciado
m = 4pi·x^4dx
Y la integral definida de esta función entre 0 y a nos dará la masa de toda la esfera. Es tan inmediata que no usaremos el editor de ecuaciones
Integral indefinida = 4pi x^5/5
que evaluada entre 0 y a es
m = (4/5)pi·a^5
Y eso es todo, me gustaría tener unas palabras con el que te está poniendo estos ejercicios y te está dando esas respuestas equivocadas.