Robots

Más o menos ya te pillo.
Lo que intentas crear es un buscador-spider
Hacer algo similar a google es bastante complejo.
De todos modos, para comenzar puedes probar con algunos spiders que ya están hechos para ir tomando ideas.
Mira por ejemplo esto:
http://www.cs.ioc.ee/~ando/sphider/
Si tienes conocimientos de inglés este artículo te será de gran utilidad:
http://www.monash.com/spidap.html
Suerte y Saludos.

Aquí la tienes:
http://www.cs.ioc.ee/~ando/sphider/
Por si acaso no sale delante del /ando/ debes poner el ALT+126

Ok es eso exactamente lo que quiero hacer... solo una cosilla puedes reenviarme la ruta del primer enlace que me habías puesto...
Saludos y gracias

Trabajo en PHP, y no quiero realizar búsquedas en mi bbdd.
Lo que quiero hacer es una pequeña aplicación, que recorra otras webs, con la finalidad de poder disponer de la información que están publican...
Me explico mejor... En mi web tengo un numero de empresas, y muchas de ellas poseen página web, con el permiso de estas, me gustaría ir a su web y recopilar la información que a mi me interese, como por ejemplo ofertas de trabajo las cuales después podre incluir en mi web...
No se si esto se podría hacer con un robot, como por ejemplo el que utiliza google, ni siquiera se el nivel de dificultad, cosa que no me importa, lo que quiero es tener una pista o algo con lo que empezar a currarme el tema...
Saludos espero que ahora si entiendas lo que te pregunto...