¿Cómo se determina la forma que tiene una molécula?

Caramba, (xxxxxx), que pregunta!
La historia de como llegaron a saber algo es larga, fascinante, y como toda la historia del conocimiento, llena de anécdotas, teorías que resultaros falsas e intuiciones certeras.
Como sabemos ahora es relativamente más sencillo.
Primero podemos analizar una sustancia pura y saber que átomos la componen y en que proporción. Luego podemos estudiar sus propiedades químicas y de su comportamiento deducir algunos arreglos posibles o excluir otros (por ejemplo, si tiene O e H puede ser un alcohol, si es ácida puede tener un grupo -COOH, etc.).
Luego existen técnicas como la espectroscopia infrarroja. La energía de la luz infrarroja (IR) es absorbida por las moléculas y convertida en rotaciones de la molécula y vibraciones de los enlaces (estiramiento y acortamiento de la unión O-H, por ejemplo), pero no cualquier frecuencia de la radiación IR es absorbida por cualquier union, sino ciertas frecuencias específicas. Si se pone una muestra de la sustancia en un aparato que va cambiando la frecuencia de la luz IR y midiendo cuanto de ésta se absorbe, tendremos lo que se llama un "espectro infrarrojo" de la sustancia, que nos da información de que uniones hay en ella. Aquí http://es.wikipedia.org/wiki/Espectroscopia_infrarroja, puedes encontrar una explicación más larga y unos lindos dibujitos animados de las vibraciones moleculares.
Otra técnica es la espectroscopia de resonancia magnética nuclear. Esa es bastante más complicada de explicar, puedo decirte que se basa en las propiedades magnéticas de los núcleos y en como cambian éstas por efecto de los electrones que forman parte de las uniones químicas que dichos núcleos tienen.
. . .Y todo esto no es más que el principio. La estructura de las moléculas es tan importante que hay decenas de técnicas más para casos generales y para clases específicas de sustancias.