¿Cómo puedo configurar mi router?

Tengo pensado formatear mi ordenador e instalar windows 7 (no se aun si el de 32 o el de 64 bits) pero una vez formateado e instalado el windows, no tengo ni idea de cómo configurar el router para poder tener acceso a internet y lo que busco es que me guíes si puedes paso a paso porque soy bastante negado para estas cosas. Si te sirve de ayuda, te pegaré aquí información sobre mi ordenador y también el modelo de router que tengo. Muchas gracias de antemano. Un saludo.

ROUTER (de movistar): Home station adsl adb p.dg a4001n / nrc: 0128 / F.Fab (aamm): 1301

Y del equipo:

Microsoft Windows XP [Versión 5.1.2600]
(C) Copyright 1985-2001 Microsoft Corp.
C:\Documents and Settings\xp>SYSTEMINFO
Nombre de host: XP
Nombre del sistema operativo: Microsoft Windows XP Professional
Versión del sistema operativo: 5.1.2600 Service Pack 3 Compilación 2
600
Fabricante del sistema operativo: Microsoft Corporation
Configuración del sistema operativo: Estación de trabajo independiente
Tipo de compilación del sistema operativo: Multiprocessor Free
Propiedad de: xp
Organización registrada: xp
Id. Del producto: 55274-640-3242802-23493
Fecha de instalación original: 26/05/2012, 19:25:03
Tiempo de actividad del sistema: 0 días, 7 horas, 29 minutos, 21 según
dos
Fabricante del sistema: Gigabyte Technology Co., Ltd.
Modelo el sistema: G41M-Combo
Tipo de sistema: X86-based PC
Procesador(es): 1 Procesadores instalados.
[01]: x86 Family 6 Model 15 Stepping
11 GenuineIntel ~2399 Mhz
Versión del BIOS: GBT - 42302e31
Directorio de Windows: C:\WINDOWS
Directorio de sistema: C:\WINDOWS\system32
Dispositivo de inicio: \Device\HarddiskVolume1
Configuración regional del sistema: 0c0a
Idioma: 0000040A
Zona horaria: N/D
Cantidad total de memoria física: 3.198 MB
Memoria física disponible: 1.994 MB
Memoria virtual: tamaño máximo: 2.048 MB
Memoria virtual: disponible: 1.965 MB
Memoria virtual: en uso: 83 MB
Ubicación(es) de archivo de paginación: C:\pagefile.sys
Dominio: GRUPO_TRABAJO
Servidor de inicio de sesión: \\XP
Revisión(es): 348 revisión(es) instaladas.
Tarjeta(es) de red: 2 Tarjetas de interfaz de red instaladas.
[01]: NIC Fast Ethernet PCI Familia R
TL8139 de Realtek
Nombre de conexión: Conexión deárea local
Estado: Medios desconectados
[02]: Atheros AR8151 PCI-E Gigabit Ethernet Controller
Nombre de conexión: Conexión deárea local 2
DHCP habilitado: Sí
Servidor DHCP: 192.168.1.1
Direcciones IP
[01]: 192.168.1.39