Centro de trabajo distinto del lugar de trabajo

Me acabo de cambiar de empresa y en el pre-contrato acordamos que el centro de trabajo estaría en ciudad que resido, Valladolid, que es donde voy a trabajar, pero en el contrato figura como centro de trabajo Madrid. La empresa alega que en Valladolid no tiene sede y se niegan a incluir una cláusula en el contrato especificando el lugar de trabajo. Si en un futuro la empresa decide que tengo que ir a trabajar a Madrid, ¿se consideraría un desplazamiento? ¿O podrían obligarme a ir a Madrid? En el contrato no figura ninguna cláusula de movilidad geográfica.