Quiero seguir la relación pero mi pareja me lo pone difícil, se comporta como un niño

Buenas tardes, soy una chica de 21 años y mi problema es que estoy todo el día "a la defensiva" con mi pareja, no tenemos prácticamente amigos más que un par de parejas con las que quedamos para tomar algo de vez en cuando, no le gusta salir dice que le da mucha vergüenza y miedo, ya le he dicho que eso es relativamente normal hasta que coges confianza pero no hay manera. Y lo que más me crispa es que se comporta como un niño y me cabrea porque estoy todo el día detrás de él diciéndole, "haz esto" "haz lo otro", y él se pasa todo el día poniéndome excusas tipo "no me he dado cuenta" y pidiéndome perdón continuamente y eso me cabrea todavía más. Me crispa porque es incapaz de terminar de cenar y quitar la mesa, hacer la cama hasta que se lo dices como 5 veces, dejar cosas por todos los sitios, incluso me oculta cosas que no tendrían importancia si fuera 1 pero que ya son muchas y mosquea. No vivimos juntos, pero los fines de semana se queda a dormir en casa de mi madre y claro no es que solo me afecte a mí, si no que a mi madre también le afecta (no tengo padre y vivimos solas) y encima ella me lo dice todo a mí, con lo cual tengo la carga de preocuparme por él por un lado y la de que mi madre esté bien en su propia casa por el otro (ya que no sale de su casa, al menos que esté a gusto, que para eso es suya). Y es que ya no sé como reaccionar porque sé que no debiera estar tan cabreada todo el día, la última ha sido que nos preparábamos para salir a dar una vuelta y me pregunto si le odiaba y mi reacción fue pedirle que se fuera a su casa y nos relajásemos porque estoy harta de que desde que estoy con él parezca que me he sacado el carnet de imbécil (con perdón). Él es buena persona y no hace nada de manera intencionada pero no puedo más con esta situación y quiero seguir con la relación.
Espero que me puedas ayudar. Un saludo