Para esto, si te recomiendo que utilices un plugin de la firma Digimation, se llama Splash! MAX y sirve para hacer olas de todo tipo, con el agregado de partículas (gotas del entrechocar de las olas).
http://www.digimation.com/software/asp/product.asp?product_id=88&category_id=1También existe el SeaScape de la misma empresa, que es específicamente para hacer mar.
http://www.digimation.com/software/asp/product.asp?product_id=85&category_id=1Ambos recrean de manera dinámica el agua. Esto quiere decir que tendrás que aplicar modificadores específicos y ajustar los controles del plugin para que se creen las olas.
Puede que sea un poco más difícil aprender a manejar todo esto, pero te aseguro que es mucho más fácil y obtendrás resultados sorprendentes que tratando de modelar a mano una hola.
Para eso es el plugin, para no tener que matarte recreando las propiedades de la física, el agua y todo eso.
Te paso ambos para que descargues.
Splash
http://cablemodem.fibertel.com.ar/luciana/Digimation_Splash_v1.11F_R4.exeSeascape
http://cablemodem.fibertel.com.ar/luciana/Digimation_SeaScape_v1.exePero, aún así si las quieres intentar hacer a mano, se me ocurre que podrías hacer dos intancias de la hola (o más) y aplicándoles un morph entre una y otra instancia para no tener que ir deformando todo a mano. Luego, para la punta de la hola, le aplicas algunas partículas para que parezca la espuma.
No he tenido que hacer nunca una hola de mar... Si otro tipo de olas más pequeñas, y en forma de aros. Pero voy a probar.
No cierres la pregunta todavía, así podemos seguir comunicados por aquí.