No se si debo volver

He tenido una relación dos años, las cosas comenzaron a ir mal hace unos seis meses. Le pedí tiempo pero volví. Fue el quien rechazó volver como antes, que necesitaba su tiempo para pensarlo. En este tiempo nos hemos visto muy poco. Cuando parecía que todo se arreglaba él daba marcha atrás y decía que en una relación de pareja no hace falta verse con frecuencia. Por fin de harté de la situación y de estar esperando que me llamase y le dije que no quería volver a verle. Lo gracioso es que ahora me dice que, si se lo piensa de nuevo, que me llamará para iniciar la relación.
Creo que no me conviene aceptar si lo hace. ¿Puedes ayudarme?