Que la madre pueda estar con su hijo, no es malo, sino bueno, y en ese sentido tu hijo puede salir favorecido.
De lo que he entendido, ya tenéis unas medidas, en las que puedes ver, educar y cuidar a tu hijo (no, por supuesto que en la situación más favorable, pero con medidas que parecen aceptables de acuerdo a las circunstancias).
De lo que entendí, tú pensabas pedir un cambio más favorable para ti, pero ya presuponiendo, por habértelo comunicado, que la madre junto con los que la rodean, pedirían algo justo en la línea contraria. Por eso que te decía que no des un paso sin haberlo pensado bien, y yo te diría que con la mejor de las intenciones como te decía.
Yo te recomendaría continuar, por el momento, con las medidas que tienes, y eso sí extremar por un lado la corrección tanto con ese señor, como con la madre del niño (que si contrajiste con ella un matrimonio válido, sigue siendo tu mujer, aunque no conviváis, o incluso aunque tuviérais un divorcio, ya que el matrimonio es indisoluble y no lo anula ni la falta de convivencia ni el divorcio, que esto sí que es un mero papel, con una serie de consecuencias económicas, etc.).
A tu hijo lo vas a educar sobre todo con tu conducta (no con lo que digan de ti) tanto en la situación particular, como en general en la vida. Y al hilo de esto, o con este motivo, te recomiendo el extremar la mejora de tu conducta (lo cual siempre es posible). Yo te diría que sigas con tus medidas y no caigas en ninguna provocación, sino que siempre con conducta correcta y no pierdas de vista en ningún momento el objetivo de hacer el bien de verdad a todos.
Por supuesto que el divorcio ya tiene este tipo de malas consecuencias; y estas consecuencias también pueden servir para recapacitar; y desde luego que no pienses que estas consecuencias son las únicas, ya que pueden, incluso con probabilidad, surgir más. Desde luego que lo que te recomiendo es respetar siempre el vínculo matrimonial, e incluso, ayudar a que ella también lo respete.
Por supuesto que el actuar bien y con buena intención, no te restará de ver la situación, sino que la verás y mucho mejor, y con mejor atención a todos los factores implicados, siendo muchos, como la educación de tu hijo (que no depende de que lo veas o no, aunque esto en su orden sea lo deseable y conveniente, sino que más bien de la calidad de tu conducta), etc. Piensa también que la conducta de la madre le va a influir mucho, etc. No se trata de lograr un cierto resultado como sea en absoluto.
Quién sabe si haciendo las cosas de la mejor manera podríais volver a convivir, ya que el amor de verdad siempre se puede vivir; los intereses son los que cambian, pero el amor depende más de la voluntad bien enraizada.
Ahora que ves las dificultades, yo te dirías que aproveches para recapacitar. Esto no se soluciona con ninguna medida superficial, ya que con una medida superficial se podrá lograr un resultado, para a continuación surgir otras cuantas dificultades. Por supuesto que todo estando en gracia de Dios.
P.D. No pienses en el mero bienestar de tu hijo, sino que en su bien, objetivo que te guía mejor.