¿Sociedad Limitada sin empleados?

Tengo una Sociedad Limitada con mi hermano al 50%. La empresa se dedica a prestar servicios de asesoría a las empresas, es decir, ahora mismo estamos trabajando en otra empresa como administrativos, y nuestra empresa le factura a la empresa en la que estamos ahora por nuestros servicios. Nosotrtos en nuestra empresa estamos como autónomos y nuestra empresa nos pasa nomina todos los meses.
En la empresa en la que estamos trabajando nos quiere contratar como trabajadores normales. Por lo tanto la pregunta sería si podemos dejar a nuestra empresa sin trabajadores e irnos a trabajar con esta empresa que nos quiere hacer contrato.
Es decir poder seguir teniendo la empresa pero sin "nadie" que este trabajando, ya que de vez en cuando si que podríamos facturar algunos servicios a otras empresas. Y si podríamos seguir comprando cosas, a nombre de la empresa, para poder desgravarnos el IVA.
La cosa es, si podríamos seguir teniendo la empresa sin trabajadores pero con facturación tanto de clientes como de proveedores.