Quisiera mudarme de ciudad con mi hijo

Primero que todo disculparme por contar toda mi historia pero es necesario para hacerme entender. Soy colombiana y tengo un hijo con un chico español, me quedé en embarazo cuando vivíamos juntos aquí, pero decidimos irnos a vivir a Colombia donde nació mi pequeño. Desafortunadamente la experiencia fue desastrosa, el padre de mi hijo tuvo problemas de drogadicción antes de que yo lo conociera, cuando llegamos a Colombia fue su perdición, tuve que parir sola porque el se estaba drogando, me convirtió en un mueble más de la casa, yo era quien trabajaba y el cuidaba del niño y se convirtió en una persona irreconocible. Pasados casi dos años tome la decisión de demandarle e irme de casa llevándome a mi hijo conmigo. Su familia tuvo que intervenir desde España y lograron que retornara a su casa familiar. Aquí en España retomo sus sesiones psicológicas y por algún motivo siempre he pensado que sus padres son su polo a tierra, es decir volvió a su estado normal, de vez en cuando por decir dos veces al año, se pierde y gasta todo su dinero jugando o bebiendo pero, en principio lo tiene controlado en comparación con lo que fue. Por mi situación económica yo decidí volver a España donde actualmente tengo trabajo y una mejor calidad de vida para mi hijo. Desde que llegué el me convenció de que hicieramos las cosas de mutuo acuerdo y no por la vía legal, según el se gasta mucho dinero en eso. Me pasa un pensión de 100€ mensuales y sobra aclarar que tiene una hija mayor con otra mujer a la que siempre le ha pasado 200€ mensuales. Ve a mi hijo cuando quiere y se lo queda a dormir en su casa cuando quiere también. Para ser sincera no me arrepiento en lo absoluto de haber vuelto a España, esto es un lujo de país, pero a veces me arrepiento no haberme mudado a una ciudad diferente a la ciudad del padre de mi hijo, mi pequeño hasta ahora tiene 4 años y yo me he esmerado mucho por su educación, lo mismo no sucede con su padre, obviamente el nivel cultural de su padre no es el más alto, habla incorrectamente y a le enseña cosas a mi hijo que yo no haría, para daros un ejemplo: le permite que se lleve un juguete que no es suyo de un parque, simplemente porque no se saba de quien es. Yo no se lo permitiría no porque sea algo gravisimo, si no porque estamos criando un niño y tiene que aprender valores. Los gastos de Colegio como matricula, regalos, salidas, etc corren por mi cuenta, el dice que con los 100€ que me pasa como su hijo, si recibo algo grande como ropa o algún juguete importante es gracias a sus padres o a su hermano.

Total es que mi hermano su mujer y mi sobrio que es menor que mi hijo 11 meses, se han mudado a vivir de Colombia a Madrid y la verdad es que me gustaría muchísimo mudarme para allí, que mi hijo esté cerca de su primo ya que tienen la misma edad, que reciba y vea una educación igual a la que yo le quiero dar y mantener. Obviamente no estoy pensando en que su padre y mi hijo dejen de verse, al contrario se que para la estabilidad emocional de mi pequeño es necesario un padre, se que tendría que ver la manera de que el lo tuviera en vacaciones o cada cierto tiempo. La pregunta es: teniendo en cuenta que el no quizo dejar nada firmado legalmente, ¿cómo podría hacer yo para mudarme de ciudad de manera legal?