¿Son celos?

Hola llevo unos meses con un chico. El me gusta pero el problema es que a veces veo que es demasiado "buenazo" y pienso que hay gente que en algún momento se aprovecha un poco de él. Esto es algo que me molesta puesto que en este sentido me gustaría que tuviese más personalidad y creo que puede llegar a ser un problema entre nosotros. El lleva 5 años separado, estaba muy enamorado de su ex mujer aunque creo que eso ya lo tiene superado, le costó mucho tiempo levantar cabeza. El caso es que, de repente, ella aparece de la nada, llamándole 1 día por teléfono y contándole que un novio que tuvo ella y dejó hace ya un año, está contando los motivos de la separación de mi novio y ella a la gente y que le avisa por si llegan comentarios a sus oídos, todo esto se lo explica medio llorando. Pasados unos días, le envía un sms su ex mujer a mi novio para decirle que tiene unas servilletas, que después de tantos años, me parece una excusa para quedar con él y acaban quedando aunque solo un momento. Los dos hablan y se cuentan que ambos tienen pareja. Lo que me molesta de todo esto es que mi novio se acaba preocupando e interesando por sus problemas, por lo que ese chico (el ex de su ex mujer, que lío) anda contando por ahí a los demás. Por otro lado, siempre que mi pareja habla de su ex mujer me dice que tranquila que ella no quería volver y entonces yo le pregunto a él que si por su parte estaría dispuesto a volver si ella se lo pidiera y el dice tajantemente que no, que esa relación fue un infierno. Pero ahora tienen otra excusa y es que cuando estuvieron hablaron de las fotos de su boda y mi novio que no las quiere se las iba a devolver y van a volver a quedar, me extraña que de repente, cuando no tenían contacto suceda todo esto. Me molesta que, por su forma de ser (la de mi novio), en cuanto ella le ha llamado han quedado y sobre todo, que se deje embrollar en esas historias que a fin de cuentas, a él ya ni le van ni le vienen. Creo que lo que me pasa no son celos sino que no me gusta la actitud de mi pareja ante ella, creo que no le debería permitir que ella le cuente sus problemas, sobre todo porque hace años que no tienen relación. Según él, que dice conocerla, ya sabe que no va con segundas intenciones y solamente se ha puesto en contacto con él para avisarle por si le llegan comentarios raros del chico que he comentado. Espero haberme explicado bien, y disculpe si ha sido un poco largo. ¿Le parece que mi novio actúa bien? ¿Estoy exagerando la situación? Según él, dice que me nota celosa, pero yo creo que no es eso lo que me pasa.
Muchas gracias