Mi gato se ha vuelto muy agresivo

Tengo un gato de 6 anos de edad, siempre fue muy cariñoso, l;o recogí de la calle cuando tenia como 4 meses, lo esterilice de inmediato y siempre fue un gato muy agradable, obediente y educado, se hacia my amigo de todos los demás gatos que conocía, hace dos anos empezó a cambiar, adopte a otro gato de la calle y mi gato grande (Goyo) se salio de mi departamento y solo venia para comer, esto duro casi un mes, después se volvieron amigos y todo volvió a la normalidad, un ano después adopte a otro gato de la calle de dos meses de edad, Goyo hizo lo mismo, se salio del departamento y regreso hasta un mes después, no son amigos pero se toleran, desafortunadamente, el segundo gato que adopte falleció, entonces dos meses después de eso adopte a otro gatito de la calle, Goyo hizo lo mismo, se salio y solo viene para comer, ya han pasado 4 meses y aun no uqiere regresar, pero el problema es que ahora esta atacando a los demás gatos de al rededor, incluyendo a los que eran amigos de el, aquí no quiere entrar, pero esta en las puertas de los vecinos maullando todo el tiempo para ver si lo dejan entrar, cuando lo forzó a la casa, ataca a los gatos de adentro, me ha tratado de atacar a mi, se orina y no deja de bufar y amenazarnos a todos, pero cuando lo veo afuera, siempre me llama y me ronronea, me deja que lo cargue y lo acaricie, adentro del departamento es una historia completamente diferente, los vrcinos se quejan de las peleas de gatos, y de que maúlla en sus puertas todo el tiempo, no esta en peligro afuera ya que es un condominio cerrado con jardines, nunca sale de aquí, pero no quiere entrar a la casa, ¿Qué puedo hacer para recuperar a mi gat? Me preocupa que algún vecino se canse y lo envenene o se lo lleve de aquí, (ya me han amenazado con eso) Pero lo que más me preocupa es que hay tormentas de lluvia y no uqiere entrar, prefiere mojarse, se puede enfermar (esta perfecto, lo lleve al veterinario hace dos semanas y tiene todas sus vacunas, esta desparasitado y lo revisaron, de salud esta bien, ese no es el problema)
Entonces, ¿qué puedo hacer para recuperar al gatito que siempre tuve? Por favor, cualquier concejo me seria útil, ya probé con darle sus comidas favoritas para convencerlo de que aquí esta bien, ¿qué puedo hacer entonces? Ya han pasado cuatro meses y no se le ha pasado el mal humor ni nada, sigue peor cada día.