¿Qué puedo hacer si me acosté con un amigo dela infancia de otro amigo mio y eso no le gustó?

Vera, le explico la situación. Se trata de dos amigos míos. Llamemoslos Carlos y Víctor.
Carlos es un buen amigo, nos llevamos bien y nos entendemos bien también, es gay y su amigo de la infancia es Víctor.
Me llevo menos con Víctor, tiene novia y es un tío muy pervertido.
El caso es que me acosté con Víctor, y además lo he hecho 3 veces desde que empezamos.
Carlos sabe que Víctor es muy infiel, pero no sabia que yo tengo un algo con él, y ayer" dedujo" que podríamos tener algo.
A mi me molesto porque se dio cuenta pillándome, osea de casualidad, y solo decía que a él le daba igual pero que lo dejara, y que no hiciera nada porque la gente terminaría hablando mal. Y seguía diciendo que le daba igual.
La verdad es que a mi me da igual lo que diga la gente. Pero al rato se empezó a comportar extraño, como frío y distante. Y empezó a ponerse borde.
No entendía porque estaba así, hasta que pensé que quizás si que le molestaba que pudiera tener algo con Víctor.
La cosa es que no se que hacer porque a mi Carlos me cae muy bien y no quiero perder su amistad. Pero siento que se a enfadado bien conmigo y tengo la sensación de que me ha tachado un poco de puta. Y pese a eso decía sin para que no le importaba.
Fue un final de noche muy desagradable, ¿qué hago? ¿Hablo con él?
Además no se si dejarlo con Víctor (tampoco puede llegar muy lejos lo que tenemos)