¿Me pueden quitar la custodia compartida?

Estoy algo desesperado por el motivo que voy a narraros ahora. Intentaré ser breve
Hace casi dos años me separé, consiguiendo el divorcio en febrero del año pasado. La separación fue de mutuo acuerdo, compartimos abogado, hicimos el reparto de todo y la custodia de nuestro hijo de 2 años y 4 meses la tenemos compartida, 6 meses cada uno, teniendo nuestro régimen de visitas correspondiente cuando el niño se encuentra con la otra parte.
Nosotros de mutuo acuerdo entre nosotros, tenemos al niño una semana cada uno "saltandonos" el régimen de visitas firmado, por entender que el niño puede pasar el mismo tiempo con la madre como conmigo.
El problema viene porque me llama la madre y me dice que el niño, que ya ha empezado la guardería, y que me olvide de tenerlo una semana cada uno, y que solo lo podré ver los fines de semana, incluso en mis 6 meses de custodia, (ahora está en sus 6 meses). Imagino que eso no lo puede hacer ya que no se puede llevar al niño en mis 6 meses tal y como dice ella, lo único que me preocupa es que quiere llevarlo al juzgado para que esto se cambie así como dice ella.
Yo me hago cargo de mi hijo al 200% en sus necesidades, comidas, aseo, horarios. Tengo vecinos, amigos, incluso la ludoteca que lo llevé este verano que supongo podrían decir como me comporto con el niño o si el niño tiene carencias de algún tipo.
Y mi pregunta es...
¿Podría un juez cambiar la custodia tan fácilmente?
¿Le será a ella relativamente fácil quedarse con la custodia?
Me preocupa el "desamparo" que tenemos los hombres ante estos casos.
Muchísimas gracias por su tiempo y ayuda. Vivo en la comunidad andaluza