Madera manchada y pintura acrílica, ¿Qué hacer?

Pinto mates de madera de algarrobo con pintura acrílica, pero hay ocasiones que al poner el barniz diluyente brillante (es el que uso por el momento) la pintura se me mancha como si estuviese sucia, e probado con ponerle una base antes de pintarlo, e probado con lijar y limpiar pero por el momento no encontré solución, ¿sera el barniz? ¿Qué recomiendan?