¿Pueden los propitarios destituirme del cargo?

Hola soy el presidente y gestor-administrador de una una comunidad de 4 propietarios, quedamos que yo no pagaría las cuatas a cambio de dichos servicios y ayudas a la comunidad. Hay una de los 4 propietarios que no paga, o mejor dicho paga cuando quiere, los otros dos quieren destituirme del cargo, sin embargo el que no paga no quiere que me vaya (quizás porque a mi me torea como quiere y la ultima vez pago 7 meses de atrasos 420 euros es decir 60 por mes) ni yo tampoco ya que me supone un gasto menos. Mi pregunta es: ¿Pueden destituirme del cargo si yo no quiero irme? ¿Me podrían reclamar las cuotas anteriores aunque este escrito en el libro de actas que yo no pagaría al no tener yo justificante del ingreso de mis cuotas? Somos dos contra dos y el ( a veces moroso) solo debe una cuota y una derrama de 400 euros en este momento. Gracias de antemano por su contestación. Jaime