La seguridad es un tema ciertamente complejo, no existe una fórmula mágica para asegurar al 100% un servidor, pero te daré algo por lo que puedes empezar:
* Selecciona una distribución que mantenga al día las actualizaciones de seguridad. No busques distribuciones extrañas, virgueras y poco mantenidas por su comunidad de usuarios. Debian podría ser un buen punto de partida, actualmente encontrarás la 4.0r3.
* No instales paquetes que sean innecesarios para tus necesidades, por ejemplo: el entorno gráfico, si no necesitas un servidor de ftp, no lo instales, etc.
* Instala un firewall y deja sólo abiertos aquellos servicios que vayas a utilizar, tanto de entrada como de salida.
* Si vas a gestionar el servidor de manera remota, utiliza SSH, e intenta gestionarlo desde un lugar que tenga IP fija. No abras el canal SSH desde cualquier sitio.
* Subscríbete a las alertas de seguridad de la distribución que elijas para estar al día, y manten tu sistema actualizado.
Como punto de partida, ya tienes por donde empezar. Para continuar, te dejo algunos enlaces, que pueden ayudarte en el difícil camino de asegurar un servidor:
*
http://www.netfilter.org/documentation/index.html*
http://es.tldp.org/htmls/manuales.html