Boris, la araña, tiene ahora una nueva casa. Dreamhost se le ha quedado pequeño y se ha mudado a Slicehost:
Y es que, tras un mes de funcionamiento desde el último reseteo, ya manejaba más de 280.000 páginas y 132.000 keywords.
Su nuevo hogar es un servidor dedicado virtualizado, con Debian Etch, 256 Mb de Ram, o sea, el más pequeñito. En lugar de Apache + FastCGI como tenía en Dreamhost, ahora usa nginx + mongrel (un cluster de 2 mongrels). En vez de usar script/runner cada minuto para explorar las páginas, uso una rake task en bucle infinito.
Los tiempos de respuesta han mejorado muchísimo. Probé a cargar todos los datos y a comparar el rendimiento con siege, y este es el resultado con 5 conexiones concurrentes que repiten cada llamada 10 veces:
En http://boris.railes.net (Dreamhost)…
Transactions: 50 hits
Availability: 100.00 %
Elapsed time: 137.10 secs
Data transferred: 0.29 MB
Response time: 13.14 secs
Transaction rate: 0.36 trans/sec
Throughput: 0.00 MB/sec
Concurrency: 4.79
Successful transactions: 50
Failed transactions: 0
Longest transaction: 20.67
Shortest transaction: 9.14
En http://borispider.com (Slicehost)…
Transactions: 50 hits
Availability: 100.00 %
Elapsed time: 7.14 secs
Data transferred: 0.30 MB
Response time: 0.70 secs
Transaction rate: 7.00 trans/sec
Throughput: 0.04 MB/sec
Concurrency: 4.92
Successful transactions: 50
Failed transactions: 0
Longest transaction: 0.80
Shortest transaction: 0.66
En resumen, tanto Boris como yo estamos muy contentos. Hasta se le ve menos agobiado, y ya estima que no necesitará 273 años para terminar de indexar la web. Ahora sólo necesitará 16 años. 
Ánimo, Boris!
2 comments ↓
Buenas noticias para boris.
Felicitaciones y que pasen buenas fiestas de fin de año.
Buenas noticias, ahora ya no tendre que esperar tanto para que boris indexe toda la web
… yo que ya estaba buscando la forma de vivir 300 años 
,saludos y buen año nuevo.
Leave a Comment