Destituir a un delegado sindical

Quisiera saber de qué manera se podría destituir de sus funciones al delegado sindical de la empresa en la que trabajo. Resulta que desde que ocupó el puesto no ha hecho nada, absolutamente nada por la defensa del trabajador, es más, todas las propuestas que ha realizado han sido en contra de los trabajadores, ha solicitado adoptar medidas que ni siquiera la empresa se planteaba. Por ejemplo, por su culpa nos han puesto cámaras de seguridad en las instalaciones para observar cuando entramos y cuando salimos de nuestro puesto de trabajo (si la medida viniese de la empresa lo entendería, pero del delegado sindical me parece increíble). Otra propuesta ha sido la solicitud a la dirección de la empresa de que evite los "corrillos" (textualmente) de los trabajadores en los pasillos. Y ejemplos así un montón. Hasta la dirección le recrimina su actitud. Y para colmo, es mal compañero de trabajo, aprovecha su situación para "escaquearse" de su trabajo, trabajo que si no hace él tiene que hacer otro. En el comité de empresa, los miembros de su sindicato actúan igual y los del otro sindicato se sienten frustrados porque al ser minoría todas sus proposiciones son rechazadas. ¿Hay alguna solución para esto? ¿Podemos hacer algo el resto de trabajadores?