Formula =RESIDUO(DIA($A1);5)=0 en "nueva regla" de formato condicional

Tengo esta fórmula =RESIDUO(DÍA($A1);5)=0 en la opción "nueva regla" de formato condicional y la esperanza de diferenciar filas coloreando grupos de filas con mismo color para de mismo día (la columna A es de fechas) pero el problemas es que no todos los días hay datos. Pueden haber datos los días 1, 2, y 3 y no haber datos los días 4 y 5, luego si hay el día 6, y así sucesivamente. Usando 5 colores quedan diferenciados los días 1,2 y 3, el día 6 quedará con el color del día 1, eso estaría bien pues esta siguiendo al 3 que es distinto, (los registros están ordenados por fecha) pero si luego viniera el 11 tendría el mismo color del 6 y eso no lo quiero. Quiero que cada grupo de el mismo día tenga el mismo color y se diferencie del siguiente grupo.