¿Qué me aconsejáis hacer con mi ex pareja?

Escribo la historia a grandes tiros porque en sí es larga, así que lo resumiré...

Hace 5 años que conocí al que actualmente es mi ex, estuvimos juntos 4 años.Últimamente siempre estábamos discutiendo, discutíamos por lo más mínimo, también tuve gran parte de culpa, por la monotonía, problemas personales, etc.... Hasta que él un día decidió acabar con la relación, porque no nos hacía ningún bien, y él es una persona que por cualquier cosa que venga de mi ya se "ralla" por decirlo así.
Durante ese tiempo, a mi me dejó las cosas claras, que quería estar solo, eso me lo dijo desde el principio, pero yo no quería ver la realidad o no se exactamente por qué, en poco tiempo volvimos a estar como si estuviéramos juntos pero sin estarlo. Por su parte, su manera de actuar era distinta a la de cuando eramos novios, pero seguíamos estando de alguna manera unidos. Yo le buscaba, pero por su parte era más reacio, aunque estaba a gusto conmigo, era cariñoso, pero no tan atento, no de la misma manera a como era en la relación, no se si me explico...
A los 6 meses conoció a una chica, que sólo la veía como una amiga. Ésta, al poco tiempo de conocerse se le declaró, él se quedó impresionado porque no se esperaba esa declaración. Él al principio no quería nada con ella, no le apetecía tener nada con nadie, pero esta chica le comió la cabeza mucho, le dio como pena, porque tenía un pasado triste, y le contó toda su vida, y él, se compadeció de ella, y quiso ayudarla, pero en vez de ayudarla como una amiga, la ayudó como pareja, que era lo que ella quería. Se salio con la suya. La relación no era nada buena, esta chica era muy fría, muy celosa, porque mi ex siempre le hablaba de mi, a veces se le escapaba mi nombre cuando estaban juntos. (Durante ese tiempo, como es normal, no quise saber absolutamente nada de ellos, me distancié en cuanto supe que había "iniciado" otra relación).
No supo nada de mi vida en un mes, En ese tiempo él preguntaba por mi, se acordaba de mi, incluso la chica llegó a decirle que parece que aún sintiera algo por mi, y quería que me borrara de su vida, cosa que mi ex se negó en rotundo. Durante ese tiempo, él estaba con ella pero era una relación de más que nada amistosa, no sentía por ella, de hecho nunca se acostaron, él sabía que no estaba haciendo bien. Me dijo que lo que había hecho con esta chica fue un error que si pudiera borrarlo lo borraría.
Después de un mes de no tener ningún tipo de contacto con él, cuando estaba un poco mejor y ya había asimilado lo que sucedió, le mandé un mensaje saludándolo, preguntándole qué tal le iban las cosas. Él se alegro mucho de recibir ese mensaje mío, dijo que pensaba en llamarme pero como yo le había dicho que no quería saber nada, esperó a que lo hiciera yo.
Después de ese mensaje al poco nos vimos, él todavía "estaba" con esa chica, nos vimos como amigos, nos contamos lo que habíamos hecho durante ese tiempo, etc. No pasó nada entre nosotros.
Al poco tiempo, tuvieron una discusión fuerte esta chica y él, hasta el punto de que él ya no quiso ni quiere saber nada de ella. Él siempre ha dicho que para él no ha sido ninguna relación, ha sido un error, que le tenía cariño, pero no la quería como pareja. Después de todo esto, nosotros volvimos a tener un acercamiento, él estaba más pendiente de mi, al tiempo me dijo que le gustaría volver conmigo, que estaba a gusto conmigo, no nos peleábamos y pasábamos buenos ratos juntos, pero que no era el momento de volver, porque conociéndonos y en la situación en la que estábamos, (el no estaba del todo bien en lo personal y yo tampoco), me dijo que teníamos que esperar a que las cosas mejoraran para volver a intentarlo. Así que seguimos así, hasta que por mi culpa, volvimos a discutir de nuevo, durante este tiempo (desde inicio del verano) hemos discutido unas tres veces, pero él, siempre huye de las discusiones, por como es, no las soporta, y más viniendo de mi, lo pasa mal y cada cosa que lo involucre a él le afecta, aunque él no tenga nada que ver. Me refiero a que cuando me pasa algo lo pago con él aunque no debería. Él eso no lo aguanta, y hasta hace poco él no tenía claro el volver a estar juntos por esto.
También por lo que pasó con esta chica, fue algo que no me esperaba y me entran dudas, la última vez que discutimos, fue porque salio el tema de esta chica, me dijo en un arrebato, que si voy a estar pensando toda la vida en eso y no lo voy a olvidar, que se lo diga y mantenemos la distancia y se acaba.
Ese día lo medio arreglamos y al día siguiente nos fuimos un par de días fuera, lo pasamos bien, no discutimos ni nada, pero al volver, y volver a quedar con el a los pocos días, me dijo si quería quedar el fin de semana y yo le dije que no lo sabía, él se quedó un poco rallado porque sabía que me pasaba algo,y me dijo que no quería rallarse y que se iba (solo había venido para darle una cosa), total, se fue y al día siguiente me llamó y estuvimos hablando de esto, y así como ese día que nos vimos se ralló cuando le dije que no quería verlo el fin de semana, asintió cuando le dije que mejor mantuviéramos una distancia.
Él por lo que se ve me dice que no se ve conmigo por las discusiones y por como es el, que enseguida se ralla y lo pasa mal, y no quiere que pague con él problemas que yo pueda tener. Además, de que ahora no está en su mejor momento y no quiere pasarlo mas mal.
A mi me gustaría realmente estar con él, pero por lo que dice él ahora no quiere nada, quiere estar solo, aunque siempre que nos vemos surgen cosas, como si estuviéramos juntos...

Qué me aconsejáis? Si me distancio creéis que volverá? Distanciarme no del todo, pero sí sin hablar demasiado, prestándole más atención a otras cosas que no a lo nuestro. O permanecer como amigos, pasarlo bien y a ver qué pasa? Qué opináis?