Vamos con un desarrollo por pasos.
1°)
Observa que tratas con un sistema "cuadrado" con tres ecuaciones y tres incógnitas, por lo que puedes plantear el determinante de su matriz, con los coeficientes que multiplican a las incógnitas, que ya tienes ordenadas alfabéticamente, y queda:
D =
-1 ......... 1 ............ 1
.2 ......... m .......... -1
(m-1) .. 3 ............ -1,
a continuación desarrollas este determinante según su primera fila, y queda:
D =
= -1*(-m + 3) - 1*(-2 + m - 1) + 1*(6 - m*(m - 1)) =
= -1*(-m + 3) - 1*(m - 3) + 1*(6 - m² + m) =
= m - 3 - m + 3 + 6 - m² + m =
= -m² + m + 6 =
= -1*(m² - m - 6),
por lo que la expresión del determinante de este sistema queda expresada:
D = -1*(m² - m - 6) (1).
2°)
A continuación investigas los casos en los que este sistema no es compatible determinado, por lo que igualas la expresión señalada (1) a cero, y queda la ecuación:
-1*(m² - m - 6) = 0,
aquí divides por -1 en ambos miembros, y queda:
m² - m - 6 = 0,
que es una ecuación polilnómica cuadrática, por lo que aplicas Fórmula de Baskara (o Fórmula Resolvente), y tienes que sus soluciones son:
a)
m = -2,
b)
m = 3,
y ya puedes asegurar que el sistema es compatible determinado, para todo valor real del parámetro "m" que sea distinto de -2 y distinto de 3.
3°)
Reemplazas el primer valor remarcado en tu sistema de ecuaciones, resuelves coeficientes, y la expresión de su matriz ampliada, queda:
-1 .......... 1 .......... 1 ................ -2
.2 ......... -2 ......... -1 ................ -6
-3 .......... 3 ......... -1 ................ 4,
aqui multiplicas a la fila 1 por -1, y queda:
.1 ......... -1 ......... -1 ................. 2
.2 ......... -2 ......... -1 ................ -6
-3 .......... 3 ......... -1 ................ 4,
a continuación vamos con operaciones elementales por filas, por lo que a la fila 2 le restas el doble de la fila 1, a la fila 3 le sumas el triple de la fila 1, y queda la matriz ampliada equivalente:
1 .......... -1 ......... -1 ................. 2
0 ........... 0 .......... 1 .............. -10
0 ........... 0 ......... -4 ............... 10,
ahora a la fila 3 le sumas el cuádruple de la fila 2, y queda:
1 .......... -1 ......... -1 ................. 2
0 ........... 0 .......... 1 .............. -10
0 ........... 0 .......... 0 .............. -30,
y ya puedes apreciar que la matriz equivalente escalonada del sistema presenta dos filas que no son nulas, por lo que su rango (o característica) es igual a 2, mientras que la matriz ampliada escalonada equivalente del sistema presenta tres filas no nulas, por lo que su rango es igual a 3; luego, aplicas Teorema de Rouché-Frobenius y puedes asegurar que el sistema es incompatible para m = -2.
4°)
Reemplazas el primer valor remarcado en tu sistema de ecuaciones, resuelves coeficientes, y la expresión de su matriz ampliada, queda:
-1 .......... 1 .......... 1 ................ 3
.2 ......... 3 ......... -1 ................ 9
.2 ......... 3 ......... -1 ................ 9 ,
aqui multiplicas a la fila 1 por -1, y queda:
1 ......... -1 ......... -1 ................. 2
2 ......... 3 .......... -1 ................. 9
2 ......... 3 .......... -1 ..{.............. 9,
a continuación vamos con operaciones elementales por filas, por lo que a la fila 3 le restas la fila 2, y queda la matriz ampliada equivalente:
1 ......... -1 ......... -1 ................. 2
2 ......... 3 .......... -1 ................. 9
0 ......... 0 ........... 0 ................. 0,
a continuación a la fila 2 le restas el doble de la fila 1, y queda la matriz ampliada equivalente:
1 .......... -1 ......... -1 ................. 2
0 .......... 5 ........... 1 ................. 5
0 .......... 0 ........... 0 ................. 0,
y ya puedes apreciar que la matriz equivalente escalonada del sistema presenta dos filas que no son nulas, por lo que su rango (o característica) es igual a 2, y que la matriz ampliada escalonada equivalente del sistema presenta dos filas no nulas, por lo que su rango es igual a 2; luego, aplicas Teorema de Rouché-Frobenius y puedes asegurar que el sistema es compatible indeterminado para m = 3.
5°)
Planteas el sistema escalonado equivalente para m = 3, y queda:
x - y - z = 2,
5y + z = 5, y de aquí despejas: z = 5 - 5y (*),
0 = 0 (observa que aquí tienes una igualdad Verdadera),
a continuación sustituyes la expresión señalada (*) en el tercer término en la primera ecuación, y queda:
x - y - (5 - 5y) = 2,
ahora distribuyes en el tercer término, reduces términos semejantes, y queda:
x + 4y - 5 = 2,
y de aquí despejas: x = 7 - 4y (**);
luego, con las ecuaciones señaladas (*) (**), planteas la expresión general de las infinitas soluciones de este sistema compatible indeterminado, y queda:
x = 7 - 4y,
y ∈ R,
z = 5 - 5y.
Espero haberte ayudado.