Vayamos por partes:
$$X^tX=\begin{pmatrix}
\frac{1}{x_1}&\frac{1}{x_2}& \cdots&\frac{1}{x_n}
\end{pmatrix}
\begin{pmatrix}
\frac{1}{x_1}\\
\frac{1}{x_2}\\
\vdots \\
\frac{1}{x_n}
\end{pmatrix}=
\\
\frac{1}{x_1^2}+\frac{1}{x_2^2}+\cdots+\frac{1}{x_n^2}=
\\
\frac{(x_2x_3\cdots x_n)^2+(x_1x_3\cdots x_n)^2+\cdots+(x_1x_2\cdots x_{n-1})^2}{(x_1x_2\cdots x_n)^2}
\\
(X^tX)^{-1}=\frac{(x_1x_2\cdots x_n)^2}{(x_2x_3\cdots x_n)^2+(x_1x_3\cdots x_n)^2+\cdots+(x_1x_2\cdots x_{n-1})^2}$$
Eso es un número, ahora calculamos el siguiente factor numérico
$$X^tY=\begin{pmatrix}
\frac{1}{x_1}&\frac{1}{x_2}& \cdots&\frac{1}{x_n}
\end{pmatrix}
\begin{pmatrix}
\frac{y_1}{x_1}\\
\frac{y_2}{x_2}\\
\vdots \\
\frac{y_n}{x_n}
\end{pmatrix}=
\\
\frac{y_1}{x_1^2}+\frac{y_2}{x_2^2}+\cdots+\frac{y_n}{x_n^2}=
\\
\frac{y_1(x_2x_3\cdots x_n)^2+y_2(x_1x_3\cdots x_n)^2+y_n(x_1x_2\cdots x_{n-1})^2}{(x_1x_2\cdots x_n)^2}$$
Esto es otro número, y el producto de los dos es
$$\frac{y_1(x_2x_3\cdots x_n)^2+y_2(x_1x_3\cdots x_n)^2+\cdots +y_n(x_1x_2\cdots x_{n-1})^2}{(x_2x_3\cdots x_n)^2+(x_1x_3\cdots x_n)^2+\cdots+(x_1x_2\cdots x_{n-1})^2}$$
Y no veo que esto admita mayor simplificación, luego casi es menos trabajo multiplicar las matrices que usar esta fórmula.
Veamos como sería para n = 3
Sea
X=(1/2, 1/3, 1/4)
Y=(4/2, 5/3, 6/4)
(X'X)^(-1)X'Y = [4(3·4)^2 + 5(2·4)^2 + 6(2·3)^2] / [(3·4)^2+(2·4)^2+(2·3)^2)] =
(4·144 + 5·64 + 6·36) / (144+64+36) =
1112 / 244 = 278 / 61
Puedes comprobar que está bien.
Yo lo hice con Máxima con estas ordenes:
x:matrix([1/2],[1/3],[1/4]);
y:matrix([4/2],[5/3],[6/4]);
(1/(transpose(x).x))*(transpose(x).y);
Y el resultado es el mismo 278/61
Y eso es todo.