Restos de tierra en piscina continuamente

Hola tengo una piscina de gresite 8x4 con escalera romana pues bien anteriormente los alrededores los tenia de tierra y mala hierbas y tenia que pasar el limpiafondos muy a menudo, ahora he puesto césped artificial(sin carga de arena de sílice)y veo que se acumulan restos de tierra en skimmers y juntas de gresite los cuales no salen ni cepillando ¿cuál puede ser la causa y que puedo hacer, puede ser la tierra del filtro de arena? Solo tiene 4 años pero muy duros gracias