Para empezar el concepto librería y biblioteca es lo mismo, pero no sólo para Java, sino para cualquier lenguaje de programación (al menos que yo conozca). Realmente es un problema de traducción. La forma correcta de decirlo, sería biblioteca, la cosa es que como en inglés se dice Library, pues mucha gente ha cogido y directamente dice librería, pero la traducción es biblioteca.
AWT y Swing son unos conjuntos de bibliotecas que te ofrece Java para crear interfaces gráficas, controlar eventos de teclado y ratón. Para interfaces muy simples suele utilizarse AWT y para el resto de interfaces se usa Swing, pero bueno, supongo que es cuestión de gustos.
Es prácticamente imposible conocer todas las bibliotecas que ofrece Java, son muchísimas, así que lo que te recomiendo es que veas ejemplos de las clases que necesites según surja esa necesidad. Por ejemplo para el uso de cadenas este ejemplo:
http://www.sc.ehu.es/sbweb/fisica/cursoJava/fundamentos/clases1/string.htmO de ficheros este otro ejemplo:
http://www.chuidiang.com/chuwiki/index.php?title=Lectura_y_Escritura_de_Ficheros_en_JavaDe todas formas te recomiendo usar algún entorno de desarrollo tipo Eclipse o NetBeans, si conoces el nombre de la clase que quieres usar, por ejemplo, String aunque no hayas incluido la biblioteca necesaria para usarlas, el entorno te avisará y sólo con un par de clicks quedará incluida.