No se como actuar

Hola,
Voy a contar un poco mi historia para ayudar a las personas que me quieran ayudar a situarse.
Hace tiempo salía con una gente que me hizo mucho mal psicológicamente, de entre ellos tuve "amistad" con un narciso al que acabé armándome de valor y diciéndole que no volviese a tener contacto conmigo, porque son seres que actúan poco a poco y te destruyen sin que te des cuenta. Como me quedé solo busqué a gente por internet y empecé a salir en un foro de amistades, pero con el tiempo vi que era muy impersonal al ser muy amplio y de entre los que me llevaba mejor y que salían con un grupo más reducido de gente, digamos que me uní.
Aquí todo parecía ir bien, aunque siempre había algunos con los que tienes más trato. De entre ellos hice buenas migas con un chaval que parecía sencillo y que tenía gustos o aficiones parecidas. Con el tiempo esta persona tuvo roces con otro que gustaba de llevar las riendas del grupo; he de decir que tampoco tenían ninguna afinidad. Un buen día acabaron confesándome que no querían que fuese más con ellos; (todo esto después de haber destapado que estaban omitiéndome en los correos que nos enviábamos cuando hacíamos cualquier actividad). Lo mismo hicieron con la persona que cito.
Al principio no me lo explicaba porque no tenía problemas con nadie, lo achaqué a que podía caer mal o no encajar en los gustos del "cabecilla y segundones" y también porque me llevaba bien con alguien no grato para ellos.
Como nos quedamos fuera y solos pues empezamos a salir juntos (en plan de amistad claro). En este tiempo me he dado cuenta porqué esta persona tuvo roces. Se muestra soberbio, hace cosas que considero una falta de respeto, por ejemplo cuando paseaba con él a veces se quedaba detrás y otras me adelantaba, cuando habla sobre algo quiere llevar siempre razón etc. No sé si denotará algo que en sus escritos usa indiscriminadamente los ... Habla constantemente de un compañero suyo de trabajo y de su propio trabajo. Se contradice en cosas y cree que es correcto.
En fin, que he contactado con una nueva gente, pero como él sabe que no tenía nadie para salir, ahora me veo en un compromiso; dado que ni quiero introducir a alguien que vaya con esa actitud en cualquier lado para que al final me aparten a mi también, ni quiero un enfrentamiento sin sentido y decirle que quiero irme por libre. Siempre he sido muy transigente con la gente y al final salgo perjudicado. Sé que me conviene actuar egoístamente e ir por libre, pero no sé como hacerlo. Pienso que tengo un imán que atrae a gente que me busca problemas.