¿Qué es un crawler?
Necesito saber que es un crawler, como funciona, que funciones y posibilidades tiene, requisitos técnicos necesarios, lenguajes de trabajo mejores para hacerlo...
Me gustaría que me informaras sobre algún manual o algún lugar donde pueda encontrar estas informaciones, trato de buscar algo en la internet, pero no logro encontrar nada claro.
Me gustaría que me informaras sobre algún manual o algún lugar donde pueda encontrar estas informaciones, trato de buscar algo en la internet, pero no logro encontrar nada claro.
1 Respuesta
Respuesta de joemakina
1
Es un componente de un motor de búsqueda que recorre la web almacenando urls e indexando palabras claves y texto de cada página que encuentra. También se lo denomina robot o spider.
El lenguaje es indiferente, yo diría c++, se trataría de algo más avanzado que desarrollar un browser, harías solicitudes http y evaluarías los resultados, todo esto es mus complejo ya que tienes que desarrollar un algoritmo que te permita salir de los deadlocks y medir la calidad del sitio.
Tal vez encuentres proyectos así en sourceforge.net
El lenguaje es indiferente, yo diría c++, se trataría de algo más avanzado que desarrollar un browser, harías solicitudes http y evaluarías los resultados, todo esto es mus complejo ya que tienes que desarrollar un algoritmo que te permita salir de los deadlocks y medir la calidad del sitio.
Tal vez encuentres proyectos así en sourceforge.net
