Código de Programación necesario para acciones de pantalla

Me gustaría desarrollar un programa que realice diferentes acciones en función de lo que aparezca en la pantalla. Tiene que se capaz de reconocer números en la pantalla