Problema pintura

El látex que tu dices supuestamente es un fijador para la pared, este hace que todo lo que este suelto en la pared, polvo, etc se quede pegado cuando después pintes la pared.
Lo que te ha ocurrido pueden ser dos cosas, que no lo rebajaste suficiente con agua, yo normalmente lo hago a 1/10 o que el producto no es adecuado o esta en mal estado.
Prueba en un trozo a rebajarlo más haber si funciona y ya me contaras.

Podrías haberme realizado la pregunta antes de pintar, tendrías que utilizar fijador a agua y no látex, el látex es una resina que sirve para dar brillo y antes se utilizaba para reforzar pinturas malas o cola, las paredes nuevas con el tipo de yesos que se aplican necesitan de fijador ya que lo que hace es precisamente eso fijar el soporte para que no se desprenda,
mi consejo es que lijes suavemente las paredes y apliques una mano de fijador al agua y luego apliques la pintura plástica que consideres.

Primero te voy responder a la segunda pregunta.
El látex sirve para fijar la superficie que vas a pintar, puede ser yeso, pared pintada, cal, etc... para que cuando pintes no te pase lo que te esta pasando como con el látex.
Sobre la primera pregunta de por que te pasa eso, no es por el látex, ni la pared, ni el polvo. Es por la temperatura date cuenta que estamos en invierno, nunca te va a secar en el mismo tiempo que en verano o primavera.
Aunque tu veas que esta seco al tacto, en un día con esta temperatura no es suficiente para que coja adherencia. Dejale al menos 4 o 5 días.
Según mi experiencia, yo te puedo decir como lo haría.
Al esta la pared en yeso, le mecclaria el látex con la pintura, y le daría una primera mano, y después finalizaría con la pintura.
También hay quien le da el látex después de pintar cuando esta seco para fijar la pintura que se le ha dado, eso ya es a gusto de cada uno.

No se si hablamos del mismo producto pero yo utilizo un producto que se llama Fondo Fijador al agua, es muy líquido y se diluye una parte en 5 o 6 veces de agua, es de color lechoso que se queda transparente cuando se seca. Queda tan líquido como el agua y se aplica una capa a yesos nuevos o en reparaciones para que se selle la pared y tenga buena adherencia la pintura que se pone después. Esta es la única función que tiene, no da más color a la pintura ni afecta al tono que le pongas después, solo sella la pared y evita que se despegue la pintura al pasar varias veces el rodillo. Queda una capa muy fina que es suficiente para su cometido. Este producto hay que darlo con cuidado de no manchar con gotas, o limpiarlas rápidamente pues una vez seco es muy difícil de quitar, me refiero a suelos, marcos, muebles, etc.
Creo que el producto que has usado no realiza bien esta función y por este motivo se te ha levantado la pintura. El látex se usa normalmente para dar más calidad al a pintura que lleva poco barniz, añadiéndolo a la pintura o pintando una capa sobre pintura ya aplicada, pero yo jamás lo recomendaría para poner como primera capa sobre un yeso nuevo aunque este muy diluido. A veces hay pintores o gente que no son profesionales que realizan lo de poner látex y por lo que sea les ha funcionado bien y lo recomiendan como si fuera un gran producto para sellar paredes y yo creo que están en un gran error.
Te puedo asegurar que con el Fondo Fijador al Agua no se te levantará nunca la pintura y podrás pintar con toda tranquilidad.
Suerte.

El problema de que se levante la pintura puede ser del fino del yeso. El yeso se aplica en dos partes, una capa de grueso y otra de fino para alisar. Cuando la capa de fino por cualquier motivo no agarra bien en el yeso es cuando al pintar se levanta. Otro motivo puede ser como dices el polvo. No está de más pasarle una escoba antes de empezar y después de lijar las masillas. Por otra parte la pintura más espesa de lo normal junto con rodillos de hilo en lugar de lana puede favorecer el efecto ventosa en la pared.
Yo nunca he usado látex para pintar yeso nuevo. Para mí, dos manos de pintura son suficientes para que el yeso nuevo quede perfecto. Lo que yo hago es dar una mano de pintura diluida normal y dejar secar por lo menos 24 horas, luego reparar desperfectos con masilla ya que vas a masillar mucho mejor sobre pintura que sobre yeso. Antes de dar la segunda mano se lijan y se pintan las masillas con la brocha con el fin de que al dar la segunda mano cubra todo por igual.
Cuando nos encontramos con el problema de que se levanta el yeso sería conveniente darle la primera mano más diluida de lo normal (o el látex) pero de esta manera puede ser que tengas que dar una mano extra si el color es muy oscuro. Mi consejo es que ya que tienes el látex le des una mano bastante diluida, repartiendo el material pero sin insistir. Una vez bien seco se masillan desperfectos, cuando esté seca la masilla se lija y se termina con dos manos de la pintura que quieras, esta vez diluida normal.
Espero haberte ayudado. Para cualquier duda aquí estaré.