De un archivo a una matriz

Una forma fácil de hacerlo sería que en las primeras dos lineas del archivo guardes las dimensiones del arreglo y después todos los caracteres ( & y # ). Tu archivo quedaría algo así (Suponiendo que fuera una matriz de 4x4):
4
4
&#&#&#&#&#&#&#&#
y para leerlo podrias hacerlo de esta forma:
import java.io.*;
public class LeerArreglo{
 public static void main(String arg[]){
  try{
   //Abrimos el archivo
    BufferedReader in=new BufferedReader(new InputStreamReader(new FileInputStream("NombreArchivo.txt")));
   //Leemos la primera linea que es en la que esta el numero de filas
   int filas=Integer.parseInt(in.readLine());
   //Leemos la segunda linea que es en la que esta el numero de columnas
   int columnas=Integer.parseInt(in.readLine());
   //Creamos el arreglo con las dimensiones dadas
   char arreglo[][]=new char[filas][columnas];
   //Leemos los caracteres
   for(int i=0;i < filas;i++){
    for(int j=0;j < columnas;j++){
     arreglo[ i ][ j ]=(char)(in.read());
    }
   }
   //Cerramos el archivo
   in.close();
  }catch(Exception e){}
 }
}
Con eso ya tendrías cargados los caracteres en un arreglo bi-dimensional.

Pues (supongo) que eso dependerá de la pinta que tenga el fichero :)
¿Qué hay dentro del fichero de texto?
¿Lees el contenido de un fichero de texto en Java?
¿Tienes problemas a la hora de construir el array?