¿Mi ex pareja se puede quedar con mi hijo si es menor de 5 años?

Hace como 5 meses que me estoy separando de mi pareja, tenemos un hijo en común de 2 años. Mi abogada y la suya llegaron a un acuerdo para que él pueda estar con el niño, llegaron al acuerdo de que un fin de semana lo tenía él y otro yo, es decir, 2 fines de semana cada uno y también lo puede ver todos los miércoles por la tarde. Este acuerdo es temporal, el juicio que determinará el horario de visitas final tiene que salir ahora en septiembre. El problema es, que mucha gente me ha dicho que esto de que el niño con 2 años este de un lado para otro es malo porque eso le trastorna al estar en un sitio con una familia y luego de nuevo en otro sitio con otra gente distinta y que por lo menos hasta los 5 años sólo la madre es la que tiene que tener al niño. Lo cierto es que mi hijo cuando esta con su padre y su familia luego llega muy raro a casa y está unos días bastante sensible. ¿Esto de que el niño no debería pasar un fin de semana con cada familia hasta que no tenga 5 años es cierto?