Se cae internet al conectar escritorio remoto

Tengo un servidor con Windows Server 2012, al que se conectan por escritorio remoto para acceder a una aplicación, cuando se conecta un equipo de la red local el equipo que se conecta se queda sin internet.

Ademas cuando se conectan desde un equipó fuera de la red local la conexión se cae constantemente.