Puedo hacer algo legalmente para que mi ex jefe deje de difamarme?

Recientemente he salido de la empresa en la que trabaja porque entre otros motivos mi supervisor directo me hacia la vida imposible. Durante un año no cesó en realizar críticas a todo el trabajo que desarrollaba y a mi persona, diciéndome que no tenía competencias para el puesto ni capacidad. Fiscalizaba mi trabajo buscando algún error, el menor falló lo magnificaba, creaba problemas con los clientes, y continuamente me faltaba el respeto en la forma de dirigirse a mi. Lo más grave eran los continuos comentarios negativos sobre mis capacidades y forma de ser. Decidí dejar el trabajo porque llegó un punto en el que comenzó a afectarme psicológicamente y sabía que él no iba a cambiar. Llegué a un acuerdo con la empresa para mi salida y sólo transmití lo que había pasado al superior de mi superior, de forma discreta, pues no quiero problemas, prefiero hacer borrón y cuenta nueva. El caso es que ahora estoy recibiendo llamadas de antiguos clientes contándome que me está desprestigiando como profesional y como persona. El caso es que no sé hasta que punto debo permitir esta falta de respeto pues yo en ningún momento he hablado de él y mucho menos a los clientes. Me despedí de ellos y de mi empresa de la forma más digna posible y sólo he tenido palabras de agradecimiento pese a lo mal que se ha portado mi superior conmigo. Enterarme de que me calumnia es el colmo pues puede afectar a mi reputación como profesional. Ante esta situación me estoy planteando tomar medidas, pero me gustaría obtener ayuda y consejo al respecto.