Creo que su vecino ha mezclado erróneamente dos ideas y, además, ha actuado de forma incorrecta.
El artículo 591del Código Civil dice que:
"No se podrá plantar árboles cerca de una heredad ajena sino a la distancia autorizada por las ordenanzas o la costumbre del lugar, y, en su defecto, a la de dos metros de la línea divisoria de las heredades si la plantación se hace de árboles altos, y a la de 50 centímetros si la plantación es de arbustos o árboles bajos.
Todo propietario tiene derecho a pedir que se arranquen los árboles que en adelante se plantaren a menor distancia de su heredad."
Por tanto, debe respetarse una distancia mínima de 0,50 m o 2 m (según el tamaño) desde el punto donde esté plantado hasta la separación con la finca vecina. Pero es, como le digo, desde donde esté plantado. No desde el punto hasta donde se extiendan las posibles ramas.
Lo único que habría que consultar es si las ordenanzas municipales son más restrictivas en su caso (cosa que dudo, pero no estaría de más verificar).
Para la distancia de las ramas (o raíces), el artículo 592 dice que:
"Si las ramas de algunos árboles se extendieren sobre una heredad, jardines o patios vecinos, tendrá el dueño de éstos derecho a reclamar que se corten en cuanto se extiendan sobre su propiedad, y si fueren las raíces de los árboles vecinos las que se extendiesen en suelo de otro, el dueño del suelo en que se introduzcan podrá cortarlas por sí mismo dentro de su heredad."
Por tanto, el vecino tiene derecho a exigir que se corten las ramas que sobrepasan el vuelo de su propiedad, pero no la distancia de 0,50/2 m. Además, en principio, no puede cortarlas él, sino que puede exigirle al dueño de las plantas que las pode. Si fueran raíces, en cambio, sí podría podarlas el propio vecino.
En resumen, tiene usted razón. El vecino no puede cortar las ramas que estén dentro del terreno de usted.
Ahora bien, a la pregunta de qué puede hacer, la respuesta ya no es tan clara. Antes de plantearse cualquier reclamación judicial, piense si vale la pena, dado que el resultado siempre es incierto. Valore si realmente el árbol "ya no tiene solución", como usted dice. Naturalmente, desconozco el destrozo que ha podido hacer, pero las plantas pueden recuperarse bien de las podas, incluso en casos extremos.
Por otra parte, entiendo perfectamente su indignación, ante semejante abuso, por lo que es comprensible que pretenda tanto una compensación, como darle una lección a su vecino.
Si se decide a actuar, acuda a un abogado.