Quiero hacer lo correcto con mi gato

Al menos para mi.
Tengo un gato desde hace 10 años, lo adoro, lo amo, es mi bebé.
Yo ya me mudé varias veces, de país y de casa y el siempre se vino conmigo, siempre lo respeté y lo cuide muy bien. Al principio viví en pisos pequenhos aunque siempre con alguna salida ya fuera un tejadito, una terraza o algo. El gato siempre fue feliz y nunca estuvo enfermo.
Ahora vivo en una casa con jardín desde hace dos años y el gato hace parte de su vida dentro pero sale al jardín a hacer sus necesidades. En verano prácticamente esta todo el día fuera pero siempre duerme dentro, encima de mi cama, a mis pies, desde siempre!
Ahora tengo pareja, la relación es muy bonita y estamos pensando en vivir juntos. El problema es que el no concibe la idea de vivir con un animal en casa, por sus manías, educación, lo que sea.. El no soporta que haya pelos en su casa o un animal rondando por ahí.
Yo le quiero pero mi gato lleva conmigo 10 años y el ya sabe que jamas me desharé de el. El me pide que el gato viva fuera, en el jardín, que tenga allí su cama, su comida etc... El hecho solo de pensarlo ya me da dolor y no por mi sino porque creo que un animal que ha vivido 10 años en casa y nunca se le ha privado de dormir dentro, ahora de repente se le prohíba entrar.. No lo va a entender y lógicamente se va a enfermar y yo no quiero maltratar a mi gato de ninguna manera. Vivo en alemania y los inviernos son extremos.
Esa es la condición de mi novio, vivir juntos solo si el gato vive fuera. Yo le digo que lo único que puedo hacer es que el gato no duerma mas en la habitación si eso tanto le molesta. Se le cierra la puerta y listo pero permitiéndole andar por la casa. Mi novio me llama intolerante y egoísta porque según el miro mas el bienestar del gato que el suyo que nunca ha vivido con gatos y no los soporta.
No se que hacer... El dice que el gato se va a adaptar muy bien fuera pero yo se que no.Quiero una opinión de un especialista que conozca la psicología animal y me pueda decir si eso seria una locura o si yo estoy exagerando. Realmente no voy a ceder a los deseos de mi pareja porque mi intuición me dice que no seria correcto pero quiero saber si mi teoría es cierta.