¿Estoy sufriendo acoso laboral?

HOla,
Tengo una duda sobre si estoy sufriendoa acoso laboral. TRabajo en una empresa desde hace 8 años. Antes éramos muchos, pero ahora con la crisis hemos quedado 3, mi compañera, yo y mi jefe.Se está tomando muchas confianzas con nosotras últimamente, pero sobre todo conmigo hace cosas que no hace con la otra chica por lo que he empezado a preocuparme. Siempre que hablamos de trabajo busca el contatco físico como tocarme el hombro, cogerde del brazo, tocarme la citura... Y cuando se despide el viernes, tiene que darme dos besos ( no veo la necesidad) y cogerme de la cintura, hoy incluso me ha dado un achuchón. Intento separarme pero siempre consigue cogerme de improviso. Últimamente estoy más atenta a su manos para esquivarlas e intentar guardar las distancias, que de lo me que me está contando, lo cual no me ayuda con el trabajo.
Estoy segura que no tiene mala intención, simplemente creo que son confianzas que se está cogiendo, ya que solo estamos los tres, son muchos años y como vive justo encima del despacho, se comporta como si siguiera estando en su casa con unos amigos, pero yo no me siento cómoda con esas confianzas ni con ese trato.
La gente a quien se lo he comentado me dicen que hable claramente con él y que le pida que no vuelva a ver contacto físico, pero tengo miedo que ello dañe su ego, cree mal rollo y acabe con despido, cuando yo lo único que quiero es hacer mi trabajo sin tener que vigilar las manos de mi jefe. Incluso intento irme del despacho cuando el está ocupado para evitar las despedidas.no puedo seguir con esta tensión y ansiedad
¿Es bueno que hable con él?
¿Se considera acoso el contacto físico? ¿O es que yo soy muy rígida?