¿Si en un piso que he alquilado viven personas distintas al titular del contrato las puedo echar?

alquilé mi piso a un señor cuyo nombre figura en el contrato y desde hace unos meses me entero que él no está viviendo en el piso, sino que viven una sobrina con su marido y dos niños, Puedo echarlos al no ser ellos los titulares del contrato y no vivir tampoco el señor que firmó el contrato en el piso?Que pasos debo seguir? Seria complicado echarlos? Les agradecería su respuesta