No sé cómo te habrán enseñado a resolver estos problemas. Hay un método general por matrices haciendo ceros pero que parece un tanto desmesurado para este ejercicio. Lo cual me hace dudar si has dado matrices, determinantes, rangos, menores, etc.
La teoría diría que son incompatibles cuando el rango de la matriz de coeficientes es distinto del rango de la matriz ampliada. En la practica esto se traduce en que hayamos conseguido una fila con todo ceros en la matriz de coeficientes mientras que el resultado sea distinto de cero.
Vamos a hacerlo, restaremos a la segunda fila la primera multiplicada por 4
1 m | m 1 m | m
4 4 | 3 ~ 0 4-4m| 3-4m
Tenemos el elemento
4-4m
para que valga cero
4-4m=0
-4m = -4
m=1
Para cualquier valor distinto de 1 el determinante es distinto de 0 y hay una solución única,
para m=1 queda
1 m | m
0 0 | 1
que es lo que te decía, una fila con todo ceros en los coeficientes y con algo distinto de 0 en el resultado.
Luego el sistema es incompatible para m=1
Y eso es todo.