joemakina respondió:
Es un componente de un motor de búsqueda que recorre la web almacenando urls e indexando palabras claves y texto de cada página que encuentra. También se lo denomina robot o spider. El lenguaje es indiferente, yo diría c++, se trataría de algo más...