No se si son malos tratos psicológicos

Llevo 4 años de relación con él,no estamos casados, ya es divorciado de su primer matrimonio y tenemos un niño de 2 años. Ya desde un principio note que su carácter era fuerte y a veces se enfadaba por cosas que no tienen tanta importancia. Siempre quiere llevar la razón, los demás parece que nunca podemos llevarla.En varias ocasiones en las discusiones me insulta h de p,zo si trato de darme a entender, o voy detrás de él para tratar de resolverlo me dice que soy una tía plomo o me sigue insultando mas fuerte y en mal tono de voz. Otras veces se me acerca delante de la cara y me habla mal me ha llegado a decir en varias ocasiones que no sirvo para nada, que no valgo ni voy a valer nunca para nada ni se hacer nada bien, que soy una inútil.... Así que al final es mejor no llevarle la contraria y cuando se enfada no ir detrás de él. Me dice también que no quiere hablar conmigo que le deje en paz se tapa hasta los oídos para no escucharme cuando le digo que eso no se le dice a nadie y por favor no falte el respeto. Entiendo que él al enfadarse por algo que tampoco es para eso yo me ponga nerviosa y no me calle porque trato de ponerme a la defensiva pero es que no es normal que me insulte y que encima me diga que no me insulta que me califica o que tengo todos los derechos pero ninguna obligación o cosas así...

que yo también tengo mis defectos pero soy mas tranquila y a mi me gusta dialogar y no discutir con respeto.

Sin ir mas lejos el otro día la discusión se fue de las manos y me llego agarrar del cuello yo me quede blanca...la verdad que yo no deje de decirle que esos eran malos tratos psicológicos que se callase ,igual me puse algo pesada, el quiso salir de la casa para que le dejase en paz y antes de salir por la puerta me agarro del cuello aunque me soltó enseguida, no dejo de darle vueltas a lo ocurrido ya que ni siquiera me pidió perdón solo dijo medio llorando que fue mi culpa por llamarlo maltratador. NO es la primera vez en otra ocasión me dio una patada solo porque le dije que si bajamos con el a comprar una cosa o la iba a comprar el solo, en otra ocasión me acorralo contra la pared con el brazo. A veces también golpea lo que pilla si no me callo...en una ocasión se cargo una persiana...
Me dijo después que él no es ningún maltratador y le pedí disculpas encima me sentí fatal por llamarle así que igual estaba exagerando pero aun estoy esperando que el pida perdón por lo ocurrido que es el que empieza a enfadarse por todo. Cuando se pasa me dice que no le haga caso cuando se ponga así que luego no piensa realmente esas cosas que sino no habría estado conmigo ,pero es que estoy preocupada porque hasta me llega a decir que no quiere vivir conmigo que me quiere echar de su vida que no me aguanta ...
Me empiezo a sentir culpable y ya no se si es que son malos trato psicológicos o es que es un pesado y por mi culpa pierde el control, cuando estamos bien es atento, cariñoso se preocupa por mi ,no es mala persona pero cuando se enfada se transforma en otra persona. El dice que estoy obsesionada con eso del maltrato que le hago sentir como si fuese un demonio pero es que son ya repetidas veces las que me trato mal y me hablo mal como si no reconociese que lo que el hace mal solo dice que le pierden las formas de decirme las cosas....

MIs hermanos no le caen muy bien y no se por que ya que ellos son educados y no es meten con él para nada hasta dijo la ultima vez que eran unos simples y vulgares. Ya le dije que no los critique que el tiene mas defectos que nadie así que otra vez discutiendo.....podría contar mas pero no quiero extenderme mucho.
Yo trabajaba en otra ciudad y se me termina la excedencia que me concedieron para cuidar del niño así que estoy pensando en regresar a casa de mis padres no quiero que mi hijo viva en un ambiente así...
No se ya no se que pensar.... Necesito que me den sus opiniones algún consejo que me ayude a tomar decisiones. Muchas Gracias