Ok, voy a hablar muy por encima. Ya que para dar al 100% con el problema habría que estudiar si tenéis un Hub o un switch para la red de ordenadores, etc..., quedando a groso modo las soluciones posibles en 2.
1. Entrar en esa configuración del router desde tu pc o bien llamando a vuestro proveedor de internet para que lo haga y activar en el router el QoS (Quality of System) o bien el UPnP. Con ello lo que hace es calibrar la velocidad de subida y bajada según la necesidad de cada ordenador.
Cuando tenemos una red de pcs, el router da siempre prioridad por defecto al equipo que este usando mas ancho de banda y ese se queda "el pastel", el resto solo se comerá las migajas que deja ese ordenador, y cuando termine sera el siguiente, etc... para que mas o menos te hagas una idea. Usando el QoS o UPnP si un segundo ordenador necesita parte del "pastel" este le deja la mitad del suyo. No se si me he explicado bien. Realmente es compartir la conexión.
2. Aumentar el ancho de banda del servicio no solo la subida es importante la bajada lo es mucho mas sobre todo si los trabajos vienen desde internet a nuestros equipos. Suele ser algo que obvia mucha gente a la hora de comparar proveedores.
Comento que esto es una solución un poco genérica, habría que ver las conexiones, cableado, equipos, configuración, etc... para darte un veredicto 100% fiable. Intenta primero el punto 1, tal vez solucione muchos problemas, y es lo mas sencillo de hacer.