¿Soy infiel a mi pareja por quedar con otro chico?

Hola mira tengo un remordimiento de conciencia muy grande porque tengo la impresión de que estoy engañando a mi pareja aunque se que no es verdad, bueno yo estoy con él lo que pasa que él esta muy liado con unos asuntos de abogados y claro estos días nos han sido imposible vernos hemos estado en contacto a través del teléfono y nada muy bien, ayer fui a ver a mi hermano y estaba allí mi amiga y al momento llego nuestro amigo que habían quedado para salir un rato, yo venia de trabajar he iba con ropa del trabajo, osea que no tenia pensado salir a ningún sitio y es lo que hice, pero el estar allí con ellos y saber que él se encontraba en su casa con el lio de los papeles y tal me hizo sentirme muy mal, ellos se fueron pero yo me volví a casa, cuando llegue mi padre empezó a decirme que como siguiera quedando con ellos que si se enterase mi pareja se enfadaría y acabaría con todo, aparte de ello mi amiga me dijo que ella se había fijado en la manera de mirarme y que me miraba con ojitos de enamorado, él sabe de sobra que yo tengo pareja porque siempre le estoy hablando de él de lo que hacemos los fines de semana y tal, o simplemente hablando de mi pareja en si, mi amigo me ha ayudado en muchas ocasiones cuando he estado con ansiedad por cosas tontas, pero la verdad que no me gustaría hacerle falsas esperanzas porque a la persona que amo con todas mis fuerzas es mi vida, mi niño, mi peque osea el amor de mi vida mi PAREJA.
Claro esta que no quiero que mi pareja se enfade por que yo haya quedado por casualidad con mis amigos porque los que en verdad quedaron fueron ellos dos yo simplemente fui a ver a mi hermano y los encontré allí, nada más, lo único que parece que este traicionando a mi novio y desde anoche llevo comiéndome la cabeza por una cosa que puede parecer absurda pero a mi me esta matando.
Bueno mira haber si me puedes aconsejar, no se si estoy faltando a mi pareja o no, pero soy una persona que me lo tomo todo muy enserio y claro que mi padre me dijera eso me ha fastidiado muchísimo y no se ya que hacer.