¿A qué edad es bueno casarse?

Hola, tengo 23 años mi novio 21 y nos amamos mucho y estamos planeando casarnos.
Después de mucho pensarlo y desearlo un día él dijo: me quiero casar contigo el 12 de mayo de este año ( y es que ese día cumpliremos 2 años de novios).
A el no le gustan mucho las finestas, no tenemos dinero y en realidad pensamos que no necesitamos hacer ningún tipo de celebración masiva.
Pero poco a poco lo comenzamos a platicar con sus padres él y yo con mía abuelitos que son como mis padres y vivo con ellos, le dije a unos tíos y a mi mejor amiga y poco a poco le hemos dicho a otras personas pero todos al menos a mi me dicen que lo piense muy bien que estoy muy joven y que bla bla bla...
¿En esta ocasión y por tu experiencia me gustaría que me contaras que tanto es eso que todos dicen que tengo que pensar?
¿Qué tan difícil puede ser el matrimonio?
¿Seria mejor primero vivir en union libre para conocernos mejor?
¿Y por ultimo es verdad que somos muy jóvenes para casarnos?
El cumple 22 en mayo y yo 24 en septiembre.