Red wifi

Como bien dices, necesitas cambiar el modem por un router, ya que de otra manera, no podrás acceder con más de un equipo a Inet a través de esa conexión ADSL.
Pero cuidado, no caigas en el error de comprar un router ADSL Wireless, porque casi seguro que no tendrás buena señal en el piso de abajo. Estos Router+Punto de acceso están bien, pero para pisos pequeños o pequeñas oficinas.
Mi recomendación es que compres un router ADSL convencional con puertos RJ45 (pequeño switch integrado). Para los PCs de abajo y el portátil, lo ideal es que pases un cable desde el piso de arriba al de abajo y conectes un AP wireless para dar cobertura a esos equipos.
El cable que deberías pasar es un cable de tipo UTP Cat5. Un extremo del cable lo conectas al AP del piso de abajo y el otro a uno de los puertos del switch integrado en el router.
En caso de que necesites cobertura en el piso de arriba, lo ideal es que pongas otro AP arriba, conectado de la misma forma.
A la hora de configurar los APs, deberás poner la misma configuración en ambos APs para favorecer el roaming.
Si no deseas hacer la inversión de 2 APs, puedes probar a poner uno de ellos en el piso de arriba y ver si tienes cobertura abajo. En casas de varios pisos, dependiendo de la construcción de la misma, la señal puede atenuarse mucho.

Gracias por tus aclaraciones. El miedo que tenía con el wireless es ese, que no llegue la señal bien a los de abajo.
¿Me recomiendas alguna marca de los componentes que me dices? ¿Router? ¿Ap wireless? ¿Precio orientativo para llevar a cabo la red?
Gracias otra vez.