Familiar de miembro de la union, limite de tiempo de salidas a terceros paises.

Mi esposa tiene una tarjeta de residencia por familiar de la union de 5 años, recien aprobada, tambien tenemos hijo en comun con nacionalidad española menor de edad, el problema nos surge en que la norma nos dice que si estamos mas de seis meses fuera de la union, perdera la residencia, lo cual por motivos de mi trabajo estamos siempre fuera de la union, regresamos un par de veces al año de vacaciones, mi pregunta es, ¿si regresando justo antes del sexto mes asiduamente, pueden ponernos problemas con su residencia? .