Por lo que me has dicho te puedo indicar que tu hijo siente mas cariño por su papa y cree que tu eres quien lo alejo de él. A esta edad los niño se apegan a las personas que les agradan y se sienten triste cuando esa persona no esta a su lado.
Mi consejo es que procures organizar reuniones en la que su padre, tu y sus respectivas parejas estén juntos, jueguen con el niño ; es decir procurar no discutir y que todo sea agradable y que el niño sienta que son una familia a pesar que cada uno de sus padres viva en sitios diferentes.
Si en caso es poco probable ese tipo de reuniones, tendrás que darle tiempo al niño y procurar no discutir con tu ex frente a él. Si tu sabes dibujar enseñale a dibujar y muéstrale como dibujar, haz dibujo de los tres (tu hijo, tú y tu pareja) y dibuja también a su padre ( no minimices el dibujo de su padre o trates de dibujarlo feo ya que el niño tiene un idea pre concebida de su padre); poco a poco el niño entenderá que son familia y dejará los dibujos.
Cuando el niño llegado el momento te pregunte por que tú y su padre se separaron, tendrán que sentarse tu y y tu ex a conversar el tema con su hijo y explicarles que fueron por diferencia que tuvieron pero que nunca han dejado de amarlo.
Un problema que tal vez se te presente en el futuro sera la llegada de un nuevo hijo, ya sea tuyo o de tu ex tu hijo quizás tendrá celos de él, si se da el caso van a tener que conversar y explicarle que el no será relegado de ninguna manera y que siempre lo amaran.
Espero poder haberte ayudarte y me pido deseando que dios bendiga tu hogar