El àrea del circulo inscrito en el hexàgono regular es 25pi, entonces el àrea de la parte sombreada es :

;)
Hola candy!
El error está en que el radio de ese círculo es el apotema del hexágono (del centro del círculo al punto medio del lado)

Y tu has puesto el radio del centro al vértice.(Ese es el radio cuando el círculo está circumscrito, y no inscrito como en este caso)

r=5=a

Sea x=lado

$$\begin{align}&a^2+(\frac x 2)^2=x^2\\&\\&5^2+( \frac x 2)^2=x^2\\&\\&25+\frac{x^2}{4}=x^2\\&\\&100+x^2=4x^2\\&3x^2=100\\&\\&x=\frac{10}{ \sqrt 3}= \frac{10 \sqrt 3 } 3\\&\\&A_{hexagono}= \frac{P·a} 2=\frac{60 \sqrt 3 ·5} {3·2}=50 \sqrt 3\\&\\&A_{sombreada}=50  \sqrt 3- 25 \pi\end{align}$$

Saludos

;)

;)