¿El constructor no tenia dado de alta a los trabajadores que puedo hacer?

Estoy construiendome una casa con todos los permisos y licencias, el constructor me dio un presupuesto que acepte sin firmar nada, hablamos que todos los trabajadores debían estar dados de alta en la seguridad social pero después de varios meses insistiendo el arquitecto en que nos mandase los seguros sociales de los trabajadores vemos que casi nadie de los que han estado trabajando en la casa estaba dado de alta, al ver esto he despedido al constructor y quisiera saber si puedo denunciarlo o pedirle que me pague la parte proporcional de los s.s ya que el no los ha pagado.