¿Le gusto a mi ex jefe?

Hola!
Me llamo coco, y mi pregunta es la siguiente, porque no se muy bien como comportarme (me da como corte). Te cuento: en mi anterior trabajo, mi ex jefe siempre ha sido un buen jefe (es muy buena persona, recto y serio, y buen jefe, muy razonable), conmigo siempre se ha portado muy bien, se que le caigo muy bien, porque me lo ha demostrado, pero por distintos detalles también he llegado a pensar que le gusto (me decía sino le invitaba a 1cafe, a mi me encanta, y se que a el no le gusta,... Entre otros detalles que tenia). Pero nunca me ha dicho nada directamente o expresamente. Siempre ha sido correcto conmigo. El tenia pareja y yo entonces estaba casada (ahora ya no). El caso es que cuando deje de trabajar allí (no tuve ocasión de despedirme de el, porque estaba de vacaciones) y pasados 4 meses, me llamo al móvil para preguntarme mi dirección, si seguía siendo la misma (yo nunca me he cambiado de domicilio) porque tenia que enviarme unos papeles. De paso me dijo que me pasara por allí, hacerle una visita, porque no había vuelto y que me invitaba a un café. Fui, porque conmigo siempre ha sido una persona correcta y se ha portado muy bien, ademas le puedes pedir un favor en confianza que es una persona que si puede no duda en hacértelo. Fuimos a tomar el café y me dio dos besos cuando me vio, la conversación fue muy distendida, incluso me contó que su ilusión era tener un hijo, pero que no lo tenia con su pareja porque ella no quería, que era una persona algo pesimista, con una visión trágica de la vida. Cuando fui estaba ya separada, pero no le dije nada. Y cuando nos despedimos me pidió los besos de despedida y me dijo que volviera. Ahí, aunque no dijo nada en concreto, si le note en la voz y en la expresión de la cara algo. El caso es que no he vuelto, no se, me da corte, igual no me comporto con naturalidad. ¿Serán cosas mías o es que le gusto? Tengo entender algo entre lineas de la conversación que tuvimos. El tiene 40 años, nunca se ha casado, y me comento que nunca se había casado porque eso es para problemas, que solo se casaría por un hijo, en caso de tenerlo (que le hace ilusión tenerlo) porque como que en esas circunstancias se ve más dado a casarse. Igual son paranoias mías, no se, el caso es que no he vuelto porque me da corte, no se, ya se que es una tontería, pero...¿qué hago? ¿Vuelvo? Sino vuelvo igual le parece un desprecio por mi parte, y tampoco es una persona (por como se ha portado conmigo) que lo merezca. Pero como que me da cosa y no me atrevo. ¿Qué opináis? Gracias y un saludo,