Custodia compartida

Tengo la custodia compartida con mi ex, ya que para acelerar el proceso la separación fue de mutuo acuerdo. Existe alguna forma de quitarle la custodia en caso de que la convivencia con el (el tiempo acordado en el convenio)no sea agradable para los niños (no quieren irse y casi tengo que obligarlos y no me gustaría que les ocurriese algo desagradable por ir con el) Ya me se eso de que los niños necesitan un padre y una madre pero quisiera saber los tramites legales para retirarle la custodia, influye negativamente en ellos especialmente en el niño de 10 años ya que al ser mayor (la niña tiene 7)veo en él el miedo y sometimiento que yo he soportado durante mucho tiempo ( la ultima vez que le dijeron que no se querían ir y no por mi influencia les amenazó con llamar a la guardia civil o a la policía). Gracias y disculpe las molestias.