Conexión a internet compartida

Hola.
Mi duda es la siguiente:
Tengo dos pc y una conexión por modem a internet, el atado de hacer la red lo conozco, pero mi duda es si acaso se pueden conectar los pcs de al manera de que c/u se conecte de forma independiente a internet sin la necesidad de tener el server encendido, osea, arranco el server me meto a internet y después arranco un pc de la red de tal manera que se pueda conectar a internet por la misma linea que esta usando el server, y viceversa, conecto a internet un pc de la red y al arrancar el server este ya se encuentre conectado o al menos se conecte a la linea sin desconectar al otro pc...
¿Es posible hacer eso?
Si hay alguna forma, te agradecería me la dijeses