35 años, cardiofobia y deporte

Me llamo Manuel y tengo esta gran duda que quizá por su experiencia me pueda resolver y animarme a dar los pasos.
Hace muchos años que no hago deporte. Solo alguna carrerilla de calle y flexiones y abdominales esporádicamente. Hasta los 23 años he hecho ejercicio con asiduidad, fútbol, atletismo... Etc. Mi ansiedad se convirtió en cardiofobia y la cardiofobia en agorafobia. Un calvario. Ahora me he recuperado bastante de mis fobias y me gustaría volver a jugar al fútbol, a nivel tranquilote, tipo pachanga y he ido al cardiólogo. Pego resultado de prueba de esfuerzo:
Corazón estructuralmente normal.
Hiperquinesia cardiocirculatoria - función sitólica y contractilidad segmentaria normales.
Ergometría negativa A I. Coronaria - se confirma H.P.Q.C circulatoria con limitación de la capacidad funcional por "disnea" - MCA: 10 METS - 100% FCME - no arritmias intraesfuerzo.
Tratamiento: No precisa
Sugerencias: Práctica de ejercicio rutinario - evitar café - té - colas .etc..
Revisión anual o P.R.N.
Bueno, el médico me dijo que no tuviera miedo, que cuando me sintese cansado simplemente parase para recuperar. Mi miedo es que la ansiedad me haga subir rápido de pulsaciones y me quede peor de lo que estaba.
Según su experiencia, ¿opina qué puedo hacer deporte con tranquilidad y que además debería de hacerlo obligatoramente para sentirme mejor? O que debería ser prudentes en base a los resultados...
¿Todavía tengo tiempo para ponerme en forma? Mi complexión es fuerte, y que yo sepa no tengo enfermedades graves, solo que en mi cabeza veo que con 35 años ya no puedo hacer esfuerzos.