Tengo un problema con mi router y modem

Bueno les cuento mi problema, hace como 3 semanas mi router y modem funcionaban de manera normal pero de repente empezó a salir una X en en la parte inferior derecha de windows pero decía que había acceso a internet pero en mi laptop no podía conectarme entonces cuando reiniciaba el router y mi modem salia conexión limitada y tenia que esperar unos 10 minutos aproximadamente lo volvía a reiniciar y volvía la conexión normal pero al otro día sucedía lo mismo y hasta que un dia me cance y decidí recetear el router y cuando lo hice y lo volví a configurar y la regreso a la normalidad pero un día se fue la luz en mi casa y cuanto intente conectarme a internet no podía lo reiniciaba 1 por una hora 2, 3, horas mas y nada pero me daba cuenta que en el modem si había Internet por que lo conecte directamente a la laptop entonces decidí volverlo a reiniciar por una ultima ves espere 20 minutos y cuando lo encendí regreso la conexión y de ahí pasaron unos 5 días con la conexión normal y un día lo reinicie y cuando encendió no había Internet lo volví hace repetidas beses y nada sale señal limitada pero no entiendo si en mi modem ahí Internet pero no hay wfi ¿qué puedo hacer? ¿El problema es de mi módem o router? (El modelo del router en tp-link TL-WR941N y del modem es un Zyxel Cantv)