Como reconocer un fotomontaje

En relación a la primera parte de tu pregunta, la respuesta es que si la imagen está perfectamente compuesta, si es un fotomontaje bien hecho, cosa no difícil hoy día, no lo sabrás nunca, imposible de detectar, salvo que sea algo tan irreal lo expuesto que aún con su perfección técnica sea imposible. Si el montaje tiene algún defecto de igualdad de color, contrates, brillos, fallos de silueteo, relaciones entre brillos y sombras, etc, entonces si te darás cuenta de que se trata de un trucaje, un fotomontaje, aunque no tengas unos ojos muy educados profesionalmente en la fotografía.
En cuanto al canal alfa, me imagino que te refieres a los que se crean en programas de retoque fotográfico digital como Photoshop, ya que los del programa flash tienen otra función, tiene la función de ser un canal que sirve básicamente de máscara, una máscara a la que se le suelen aplicar efectos sobre todo si necesitas que lo dibujado en una fotografía adquiera un aspecto fotográfico.