¿Por qué cuando alguien me cae mal me alejo?

Hace un tiempo casi 3 o 4 años, me pasa algo que no comprendo.
Cada vez que conozco un grupo de personas ya sea en el trabajo o en los estudios veo siempre que hay alguien que no le gusta quizás mi comportamiento y me da la sensación de que se aleja o que quizás a alguien no le caigo bien, y lo que hago es tachar a esa persona osea la ignoro intento no verla o que con el solo hecho de ver que esta ahí me fastidia, lo que me gustaría es aprender a sobrellevar por así decirlo a este tipo de personas o sea si me da la sensación que a este persona no le caigo bien o quizás mal entendió un gesto mio no centrarme en esto, quiero pasar de ello, que no me influya porque ya el simple hecho de que la ignore en realidad a mi me fastida siempre digo quiero aprender a no ignorar porque me hace sentir mal, quiero aprender a que eso no me importe realmente, ¿pero no se como?
Y no se porque siempre este patrón se repite, ¿siempre hay alguien ahí? Veo gente que se lleva bien con todo el mundo, porque siempre a mi me tiene que pasar que habrá alguien que no me cae bien o que no le caigo bien y yo definitivamente lo desaparezco de mi vista pero de manera forsoza.
Esto realmente me fastidia tengo 29 años y quiero aprender a tomar ciertas situaciones con madurez.
Y por ultimo cuando escucho algún comentario negativo de alguien sobre mi me da una especie de pensar todo el día en esta persona y de no quererla volver a ver jamas.
¿Alguien me pude decir que tan grave puede ser esto?