Problemas con el amigo de mi novio

Hola, necesito ayuda, mi novio tiene 31 y yo 29, tiene un "amigo" que dice ser de infancia, el cual es un tipo grosero, borracho, fumon, y es un creído, tiene 1 hija de 2 años y aun así le saca la vuelta a su mujer, y lo peor lo grita a los 4 vientos como una hazaña; una vez me trato como si yo no valiera la pena, es más me dijo que mi novio podía tener a la chica que el quisiera y que yo no era nada para el, pues mi novio podía conseguir mejores chicas que yo..., desde ese momento no salgo ya con mi novio cuando saldrá con ese su amigo... Y mi novio sabe de este acontecimiento... Cada vez que mi novio sale con este tipo, me da mucha cólera, pienso que quizás lo lleva con mujeres, o que tomaran hasta estar botados por ahí (ya en varias ocasiones lo hicieron), o que le meterá cosas en la cabeza; me genera mucha inseguridad. Ahora estoy mucho más preocupada pues ellos están teniendo un plan de negocios juntos, en el cual tienen que viajar mínimamente 1 vez por semana. Quiero saber si seria correcto hacerle elegir a mi novio entre su amigo y yo, o que otra medida debo tomar... ¿qué hago? ¿O me separo de el de una vez? Lo amo, pero no soporto más esta situación... Aconséjenme por favor. Gracias