Instalación de Linux

Lo que debes decidir primeramente es por cual vertiente de los unix te quieres ir, podría ser por los BSD (freeBSD, openBSD) que son hechos para servidor como lo que necesitas y quizás hasta un poco sobredimensionado para tu necesidad real, o bien el linux propiamente tal.
Si es por linux, que seria lo más conocido por ti quizás, buena alternativa decidirte por una distro tipo fedora core, la cual tiene herramientas para automatizar procedimientos que en otra distro se efectúan manualmente (como slackware, Debian y a veces gentoo). Para comenzar te recomiendo fedora, y una configuración que no sea exagerada en el entorno gráfico, ya que necesitaras correr samba y ese tipo de cosas.
Yo te recomiendo fedora la verdad por una cosa de referencia, el sucesor próximo de redhat que era un sistema bastante bueno en redes y no con una configuración de los mil demonios je je..
Ahí te dejo una página para que la mires y tomes alguna idea sobre redes linux en general.
http://www.itrainonline.org/itrainonline/spanish/networking.shtml