Tengo un problema con htaccess.

Quiero que en mi url siempre aparezca:
www.ejemplo.com/pagina1.html
www.ejemplo.com/pagina2.html
......
son páginas realizadas en php, pero por distintos motivos quiero que aparezca con .html
He configurado mi htaccess. Para ello y parece que todo correcto, salvo porque si ingreso en la url:
ejemplo.com/pagina1.html
me redirige a:
www.ejemplo.com/pagina1.php
y debería hacerlo a
www.ejemplo.com/pagina1.html
que solución puedo darle?
Gracias