Problemas con el router

Hola:
Te explico porque no es fácil (creo).
Tengo una conexión a internet a 3 Megas (euskaltel) y tengo un router "linksys" (no del proveedor sino mío)para tener internet en dos ordenadores diferentes. Uno de los ordenadores está conectado al router mediante tarjeta de red inalámbrica (funciona perfectamente) y el otro está conectado directamente al router por cable a una tarjeta de red.
Bien el problema es con este segundo ordenador. Conectado al modem de euskaltel directamente, va perfecto (por lo que descarto una mala configuración), pero a la hora de querer tener conectados los dos ordenadores a la vez y tener que utilizar el router, en este segundo (el conectado directamente al router por cable)me sucede algo muy curioso.
La conexión de red, me da que está activado. Yo puedo conectarme al modem, lo que me indica que si hay conexión, pero es que también puedo escuchar la radio online con el real player e incluso descargar archivos con emule, pero no puedo navegar.
Tras muchos cambios en la configuración del router con los mismos resultados solo se me ocurre que pueda ser que tengo cerrados los puertos tcp y udp de internet en el modem (no se que puertos son). Pero como no estoy seguro, te lo pregunto para ver si puedes ayuydarme.
Te agradecería una respuesta lo antes posible, muchas gracias.