Cambiar condón sin limpiarse las manos?

Ayer lo hice con mi novia, pasado un tiempo cambié el condón. Cuando lo cambié, retiré el viejo, me limpié el miembro con un pañuelo y luego me puse el nuevo. Mi pregunta es si, cuando me toqué el miembro y toqué el segundo condón, hay algún riesgo por si quedaba restos de semen en los dedos.

Al limpiarme el miembro, éste estaba lubricado pero debió ser por el condón. Eso es algo que me preocupa.