Por lo que me dices pueden ser colémbolos, ya que se alimentan de materia orgánica en descomposición, como puede ser una hoja. Existen más de 7000 especies, por lo que es difícil averiguar cual puede ser. Si cayeron al agua con la hoja puede tratarse del Cyphoderus albinus que suele habitar los jardines y se alimentan de materia orgánica en descomposición, como puede ser una hoja muerta. También podría ser otro tipo de colémbolo denominado Sminthurus, al que se le suele llamar pulga de agua y habita generalmente en este medio (no confundir con la pulga de agua, ya que esta es un crustáceo, y los colémbolos son exópodos) .
Evidentemente no es buena la presencia de insectos, exópodos ni ningún otro tipo de microfauna en nuestra piscina, aunque generalmente siempre existen ( avispas, hormigas, moscas...) Es probable que la mayoría de personas haya comido alguna vez algún colémbolo, ya que se encuentran por todos lados, pero no por eso debemos tenerlos en nuestra piscina.
Para eliminarlos, es conveniente bajar el ph a 6,8 y añadir cloro hasta alcanzar niveles de 2 a 3 mg/l. Los colémbolos se alimentan de materia orgánica, por lo que es importante mantener la piscina con el agua bien filtrada y pasar el limpiafondos con frecuencia.