Por lo que cuentas, es prórroga por lo que solo se celebró un contrato hace 4 años casi por lo que es de aplicación la legislación vigente por aquel entonces y no la actual.
Y de ese primer contrato ya se han producido las 3 prórrogas a las que tiene derecho unilateralmente, por así decirlo, el inquilino más una cuarta acordada por las dos (reitero, solo habiendo existido un primer contrato y las sucesivas prórrogas derivadas de aquel)
Por tanto segun ley con que avises con 30 días (para evitar problemas yo avisaría con más pero para evitar problemas) al inquilino de que no quieres renovar el contrato valdría para no prorrogar el contrato.
Nota: la legislación actual vigente marca 4 meses pero el contrato de esa vivienda se rige por la ley vigente a la firma del contrato, no hay retroactividad, por lo que el plazo son 30 días.
También te digo que el inquilino tiene todo el derecho a no dejar pasar a nadie para que tu enseñes el piso.