Ayuda con mi config de memorias 2 Gb o 4Gb

Saludos a todos los amigos del foro; tengo un gran dilema con la futura configuración de mi P.C. Les adelanto que tengo una MB ASUS MAXIMUS FÓRMULA (chipset X38); procesador INTEL CORE2 QUAD Q6600; Tarjeta video SAPPHIRE HD 4870; 2 Gb de memoria DDR2 corsair DOMINATOR (con fan); fuente ANTEC (True Power Quatro 850 W); 01 disco duro 500 Gb Western Digital CAVIAR SE16; 01 disco duro (otro) Samsung 320 Gb.
La gran duda que tengo es que tengo previsto configurar la PC para que me ofrezca la opción de trabajar con diferentes sistemas operativos W Vista ultimate 64 bit; W XP SP3 32bit y linux 32bit; por ahora tengo solo 2Gb de memoria DDR2 DOMINATOR que muy bien le puedo insertar 02 módulos más de 1Gb c/u para llevarla a 4Gb.
¿Es real la recomendación de trabajar el VISTA ULTIMATE 64 bit con 4Gb mínimos de memorias?
¿Afectan estos 4Gb cuando este trabajando W XP a 32 bit o linux? ¿La vuelve lenta? ¿Entra en conflicto? Porque según algunas opiniones dicen que a 32bit no se reconocen los 4Gb de memoria.
Agradezco de antemano la asesoría correspondiente. Saludos