Cómo evitar gusanos blancos dentro de higos

Tenemos una higuera de varios años que llevaba más de un año sin cuidar. Los primeros frutos eran duros y se caían, incomestibles. Ahora hay higos negros y cuando los abres el 98% tienen gusanos blancos dentro de diferente tamaño en función del higo y a veces hay un insecto negro muerto parecido a una hormiga con una especie de caparazón o capullo suelto. Por fuera hay agujeritos y todo eso pasa en los higos más maduros. Me gustaría saber qué se puede hacer para evitar eso a parte de una buena poda.