Esto normalmente se va aprendiendo mezclando conocimientos de redes, sobretodo en lo que se dedica a monitoreo del trafico de redes paquetes e información.
En practicas de Cisco o cualquier curso orientado a la administración de redes, enrutamiento y arquitectura, verás que hay un tema importante que es la seguridad.
En está te enseñaran a la protección tanto física como a nivel de software y por las diferentes capas del nivel OSI. Es curioso como te hacen incapie de que no sirve de nada tener el mejor encriptado del mundo, si el servidor está al alcance de cualquier empleado y se puede llevar un disco a casa tranquilamente.
Si quieres empezar a "jugar" con el tema de las auditorias de seguridad lo primero es que comprendas los enlaces de redes, la seguridad en cada capa y como auditarlo (no se si te suenas los programas sniffer)
Básicamente lo primero que tienes que entender son los enlaces, paquetes e información que viaja por las redes, porque es el único medio de contactar con los sistemas.
Una vez localizado el sistema a auditar o débil, se comprueba si hay acceso a el, normalmente para comunicarse usa puertos, y estos abre vías de comunicación.
En un sistema que este en peligro, lo que puede pasar es que no tenga bloqueado puertos de gestión. Para ponerte un ejemplo sencillo, los sistemas Windows están orientados a ser gestionados desde un sistema central, y por consiguiente usan servicios de monitoreo y gestión remota. Por desgracia estos servicios están activos, y si bien no permite que usuarios anónimos los gestionen, las practicas habituales de los usuarios ponen en riesgo sus sistemas.
Sin ir mas lejos el compartir archivos en un equipo, deja abierto los puertos de smb, pero con ello mas problemas de seguridad añadidos. Con estos puertos es posible rescatar información de grupos de usuarios o incluso nombres de usuario, y si encima es el típico usuario de dejar la clave en blanco, ya tenemos un acceso garantizado a archivos.
Te pondré otro ejemplo de lo que se realiza, en muchas empresas se crean redes trampa, con accesos desde internet o sistemas wifi. Esto es simplemente un equipo o equipos en la DMZ (zona desmilitarizada) con vulnerabilidades básicas, y sin información susceptible. Lo que si se tiene es un sniffer que registra toda la actividad en ese servidor, y recaba información de los posibles atacantes, por si se tuviera que bloquear el acceso desde un rango IP, incluso identificar sistemas de ataque que no se contempla.
Espero que te haya ilustrado y puedas orientarte mejor hacia lo que quieres, obviamente los auditores son muy necesarios para verificar redes y los posibles problemas que puedan acarrear, no es mal oficio.
P.D: Sin ir más lejos el año pasado se detectó problemas en el método de encriptación de Open SSL utilizado desde hace años (1998 se constituyo)