¿Puedo tener hijos con mi primo lejano?

Empecé una relación con mi primo lejano, mi abuelo tiene un primo, y ese primo tuvo un hijo, y ese hijo es papá de mi novio(mi primo lejano), y quisiera saber si hay algún problema con tener hijos ya que ambos tenemos la misma sangre "o" positivo mi novio dice que puede haver problemas ya que puede nacer con alguna dificultad😞 por los genes mismas que hago