El módulo de un vector se refiere a cual es su longitud. Lo puedes ver como la distancia que hay desde el origen hasta (-8,6).
Para calcular el módulo se hace uso del producto escalar del vector consigo mismo quedando
$$\begin{align}&A.A=a1.a1+a2.a2+a3.a3+...+an+an\end{align}$$
Donde a1,a2,a3...anm son cada una de los componentes del vector.
$$\begin{align}&\\&\big \|\mathbf{A}\big \|^2 = \mathbf{A} \cdot \mathbf{A}\\&\quad\big \|\mathbf{A}\big \| = \sqrt{\mathbf{A} \cdot \mathbf{A}}\\&\end{align}$$
quedando al final
$$\begin{align}&\\&\big \|\mathbf{A}\big \| = \sqrt {A_1^2 + A_2^2 + ... + A_n^2}\\&\end{align}$$
Y esa es la formula del módulo.
Con tu ejercicio quedaría
$$\begin{align}&Modulo= \sqrt{(-8)^2+6^2}=10\end{align}$$