¿Estoy estirando una relación sin sentido?

Soy agorafobica, padezco esta enfermedad hace 6 años o así. Ya estoy progresando y estaré a un 80% de mi total recuperación. El caso es que hace 4 años conocí a mi actual pareja, es de jerez y por motivos obvios (no podía salir ni a la puerta de mi casa) lo nuestro no fue a ningún lado. Cada uno siguió su vida y hace año y pico volvimos a reencontrarnos por Facebook. Yo ya me encontraba mejor, con ganas de luchar por lo nuestro y el también. El es una persona alegre, divertida, trabajadora, pero también muy despistada y pasota para todo. Mientras que hemos estado juntos le he apoyado en todo lo que ha necesitdo y el a mi también, sobre todo en mis retos para ir superando mis miedos y mis ataques de pánico. Nos veíamos los fines de semana, por lo que sus "fallos" por ser un pasota y esas cosas no las tenia en cuenta, ya que al verlo esos 3 días a la semana, hacia que se me olvidara todo enfado ya que estábamos genial juntos. Todo fue genial hasta que después de verano se quedo en paro después de trabajar 10 años y su pesimismo y su autoestima fue a peor. He tirado de el para animarlo, lo ayude a echar currículums y a la vez tiraba con mis problemas y mis ansias de terminar con mis fobias. Al fin encontró trabajo pero en Madrid, a 550 kms de mi. Ahora es cuando vienen los problemas, cuando al no vernos y su carácter pasota hacen que esto se enfríe. Dice que me quiere, que quiere estar conmigo pero por más conversaciones que tenemos y le explico que si hay que poner interés en una relación normal más aun en la distancia, siempre vuelve al pasotismo... Yo esty montando mi propio negocio por lo que no puedo mantenerme económicamente y me es imposible ir a madrid a vivir. El esta inmerso en el trabajo, ya que lo suyo era obsesión el encontrar uno y sentirse válido ( totalmente licito) pero ya apenas nos vemos por cam, ni fotos, unicamente los buenos días diarios y un par de llamadas si eso... No se si él, al conocerme siempre con mi enfermedad m ve segura, ya que perdí trabajo, amigos y toda vida social o no se... Le he planteado dejarlo, que si el no esta seguro que lo dejemos pero se niega... No se si esto tiene futuro, si debo dejarlo porque con una persona con ese carácter es imposible mantener una relación a distancia o esperar... Aunque la incertidumbre me desequilibra bastante... Yo intento hacer mi vida pero veo que por su culpa, por no poner un poco más de esfuerzo esto va a endriarse y lo perderé... Tal vez también m de miedo a quedarme sola o no encontrar a alguien que entienda mis limitaciones...