¿Problema de narcisismo? ¿Tengo qué alejarme de el?

Hola doctorayuda.
Estoy casada pero hace 2 años me empezó a atraer mi mejor amigo.El caso es que yo también a el.Lo hablamos y quedamos en que dejaríamos pasar un tiempo para aclarar nuestros sentimientos y no lanzarnos sin pensar bien las cosas.
Este chico es una persona muy segura y con carisma pero no se hasta que punto es esto una fachada que esconde su falta de autoestima ya que su comportamiento es extraño a veces. Por un lado tiene cosas buenas, ya que si no, no me habría fijado pero por otro lado no entiendo su actitud. Te lo detallo para que por favor me des tu opinión:
*** cuando estamos en grupo o solos y estoy hablando a veces se pone a mirar a otro lado, como si no le interesara.Lo hace con mucha frecuencia. *** a veces trata de forma despectiva a las mujeres y suelta comentarios inapropiados.*** para el la vida de las personas que no conoce no son importantes , es mas, considera que la vida de su mascota tiene mas valor que la de cualquier persona que no conoce ***  es una persona que no expresa sus sentimientos. Nunca dice cuando algo no le gusta y se manifiesta atacando al punto debil de esa persona. A veces es muy dañino *** el mismo reconoce que es una persona muy egoista *** cuando espera algo de una persona y no lo ve satisfecho te castiga,por ejemplo si algo ilógico le molesta de mi , sin comentarme nada deja de contestar a mis correos y no me saluda cuando coincidimos en el messenger. Al dia siguiente me pide disculpas contando alguna excusa y me dice que piensa en mi todos los días y que soy una persona que para el merezco la pena *** miente a menudo en general y sobre su posicion social *** necesita ser el centro de atención y las críticas las lleva muy mal *** la relación que tengo con el es de tira y afloja.. Unos días muestra interes y otros me rechaza. Es como si necesitara una atención continua... No lo entiendo ***
Aunque al leer esto tiene bastantes cosas negativas tiene otra parte que es agradable, extrovertido y cariñoso.
No se si es que le estoy idealizando, porque los narcisistas en un principio dan una imagen que puede ser fachada y luego con el tiempo aparece su lado negativo. No se si debería arriesgarme con esta relación. Por un lado me aporta cosas pero por otro ¿podría estar sufriendo toda mi vida al estar con una persona así? Creo que para salir con un narcisista (si es que lo es) tienes que cambiar tu forma de ser porque él desde luego aunque tuviese algún problema no lo aceptaría y menos acudiría a un profesional.
Gracias . Un saludo.