Reprogramando a Boris, la araña

Boris, la araña, es mi monstruíto de Frankenstein. Ya ha cumplido unos 5 meses y en este tiempo ha conseguido enterarse de más de 230.000 páginas. Eso si, poquito a poco, porque vive en un servidor compartido y no es cuestión de saturar a los demás usuarios de la máquina.

El pasado 20 de octubre estuve dirigiendo en Olot un taller de introducción a RoR en el que explicaba cómo construirse una araña web como Boris, la araña. O parecida, porque en una hora no da tiempo para mucho si has de partir de cero.

Por eso, para el taller que daré en la Conferencia Rails el próximo 23 de noviembre en Madrid, he pensado partir de una aplicación base ya montada (casi que un simple scaffold de Paginas tageadas con acts_as_taggable_on_steroids), y detenerme un poco más en ejemplos de cómo se descarga una página con open-uri, cómo se parsean sus datos con expresiones regulares y Hpricot, y cómo dejar tareas programadas en background (script/runner, rake tasks…).

Mientras tanto, según preparo la presentación (45 minutos no dan para mucho!), voy refactorizando código de Boris, la araña. Boris, reloaded.