Necesito consejo en la relación de pareja por culpa de problemas entre mi novio y mi hijo

Hola: llevo ya dos años de relación con mi novio y tengo un hijo de 4 años que obviamente no es de el, mi hijo me necesita mucho y yo a el, pero mi novio y mi hijo no se llevan bien yo he tratado de ponerles la misma atención a los dos y quererlos por igual pero el problema es que mi novio quiere que nos casemos pero no quiere que mi hijo viva con nosotros realmente estoy confundida no se que hacer quiero evitarle sufrimientos a mi hijo y darle lo mejor, pero también esta mi felicidad y el hombre que amo. ¿Qué puedo hacer para que nadi sufra si no los puedo tener al los dos?