Conectar dos ordenadores a internet

Hola buenas tardes, tengo un acceso a internet por cable de 6mb de la empresa Ono. Tengo dos ordenadores puestos en la misma habitación, me gustaría que ambos se pudieran conectar a internet con el mismo acceso y para ello pensando que así lo podría hacer compre un Switch de la marca d-link con ocho puertos. Conecte la salida del cable ethernet del cablemodem al switch y allí mismo conecte los dos cables de ethernet de ambos ordenadores. Pero no hay manera, solo puedo conectarme en uno de ellos, me gustaría saber si con un switch puedo realizar dicha operación o tengo que adquirir un router, muchas gracias