$$\begin{align}&\\ & \end{align}$$
Hola, bueno tus ejercicios presentan diferentes tipos de soluciones para un sistema de ecuaciones.
1) Para la primera debes ver, para que valor de la ecuación no presenta solución en los reales, por lo tanto las rectas que definen el sistemas son paralelas y no tienen nunca puntos en común.
$$\begin{align}&x-3y=9\\ &2x-5ky=12\\ &\\ &Despejamos (x)\\ &\\ &x=9+3y\\ &\\ &Reemplazamos\\ &\\ &2(9+3y)-5ky=12\\ &18+6y-5ky=12\\ &18-12=5ky-6y\\ &6=y(5k-6)\\ &\frac{6}{(5k-6)}=y\\ &\\ &\\ &\\ &\end{align}$$
Luego nos queda en el denominador el K, entonces igualamos el denominador a 0, porque en ese caso quedaría todo indeterminado producto de la división por 0.
$$\begin{align}&(6-5k)=0\\ &6=5k\\ &\frac{6}{5}=k\end{align}$$
Por lo tanto para un K igual a 6/5 la ecuación presenta infinitas soluciones.
2) El segundo caso es un poco más complejo, este nos requiere que las ecuaciones presenten infinitas soluciones, por lo tanto las rectas que componen el sistema deben ser coincidentes, que poseen todos los puntos en común.
Un libro que encontré nos dice que "Un sistema de infinitas soluciones se produce cuando los coeficientes de x, de y y los términos libres son proporcionales unos a otros"
Los coeficientes son los números que acompañan a las variables x e y
$$\begin{align}&(1-a)x+2y=3\\ &3(1+a)x+8y=12\\ &\\ &\frac{1-a}{3(1+a)}=\frac{2}{8}=\frac{3}{12}\\ &\\ &\frac{1-a}{3(1+a)}=\frac{2}{8}\\ &8-8a=6(1+a)\\ &8-8a=6+6a\\ &8-6=6a+8a\\ &2=14a\\ &\frac{2}{14}=a/(:2)\\ &\frac{1}{7}=a\\ &\\ &\\ &\end{align}$$
Luego comprobamos para ver si los coeficientes son proporcionales.
$$\begin{align}& \frac{1-a}{3(1+a)}=\frac{2}{8}=\frac{3}{12}\\ & \frac{1-\frac{1}{7}}{3(1+\frac{1}{7})}=\frac{2}{8}=\frac{3}{12}\\ & \frac{\frac{7-1}{7}}{3(\frac{7+1}{7})}=\frac{2}{8}=\frac{3}{12}\\ & \frac{\frac{6}{7}}{\frac{24}{7}}=\frac{2}{8}=\frac{3}{12}\\ & \frac{6}{24}=\frac{2}{8}=\frac{3}{12}\\ & \frac{1}{4}=\frac{1}{4}=\frac{1}{4}\\ &\\ &\end{align}$$
Por lo tanto la condición se cumple, pues todos son proporcionales entonces ambas rectas serán coincidentes y el sistema presentara infinitas soluciones.
Además si reemplazas el a=1/7 en el sistema y luego simplificas la ecuación (1) por un 1/4, te entregara que ambas rectas serán iguales, por lo tanto una esta amplificada.