DreamHost, GoogleBot ed il Consumo di CPU
Nonostante molte delle pagine sono state bloccate nel robots.txt, GoogleBot si sta divertendo! Oltre 6000 pagine al giorno scansionate e picchi di 50 MB scaricati da parte dello spider di Google!
I ragazzi del supporto DreamHost mi hanno prontamente avvisato che ultimamente il 30% del consumo di cpu del server su cui sono ospitato vengono utilizzate da questo blog ( Bellissimo! 
Saranno contenti gli altri clienti sulla stessa macchina!).
Come soluzione provvisoria, per vedere se si riesce a rimediare qualcosa ho riattivato il plugin WP-Super-Cache che avevo disattivato qualche tempo fa inserendo un Expire Time altissimo (3600000 secondi!). Inoltre ho eliminato dal tema un paio di css di abbellimento, come md_stylechanger.js e iconize.css.
Come ultima cosa, tempo permettendo, proverò magari a fare un pò di tweaking su php, seguendo magari le dritte di davide e fullo. Qualche altra soluzione da proppore ?
Se vedete offline questo blog per qualche tempo, sapete il motivo!
7 Commenti »
Puoi lasciare una risposta, oppure fare un trackback dal tuo sito.
1
fullo dice:
sul mio blog ho spiegato come ottimizzare il file robots.txt è un po’ “pesante” come soluzione perchè ti fa perdere un po’ i di indicizzazione ma finchè google non rallenta è una discreta pezza.
http://www.fullo.net/blog/archives/2007/12/20/googlebot-dreamhost-e-wordpress/
Pubblicato il 15 05 2008 alle 23:55
2
Cristiano dice:
Secondo me, l’unica soluzione alternativa (anche se impegnativa e forse traumatica) è cambiare l’hosting e orienarsi verso qualche soluzione di tipo professionale.
Pubblicato il 16 05 2008 alle 09:48
3
Daniele dice:
@fullo: hai letto le prime righe del post
il robots dovrebbe già essere ok
@Cristiano: Si, sto pensando di passare a DreamhostPS
vediamo come va!
Pubblicato il 16 05 2008 alle 09:50
4
Alessandro Ronchi dice:
In teoria i contenuti duplicati, quindi anche gli archivi, penalizzano l’indicizzazione. Quindi il lavoro sul robots.txt è utile anche per questo.
Altro problema: la cache su file su disco può rallentare quando il numero di articoli è elevato?
Qual’è l’Expire time migliore che permetta di avere un numero di file ragionevole ed abbastanza pagine cachate?
Pubblicato il 20 05 2008 alle 12:41
5
Alessandro Ronchi dice:
PS: io ho occupato anche di più, del mio server su dh
Pubblicato il 20 05 2008 alle 12:42
6
Daniele dice:
@Alessandro Ronchi: sono arrivato ad avere oltre 30.000 pagine cachizzate. Sia in cache che super-cache. Proprio ora ho disattivato il plugin poichè mi stava creando problemi con i commenti.
In pratica quando qualcuno lasciava un commento la pagina non veniva refreshata. Mah…
L’expire time ci ho messo un valore altissimo. In pratica ho aggiunto diversi zeri a quello di default. Questo poiche secondo me non ha senso refreshare le pagine oramai datate… quindi va bene mantenerne sempre una versione statica.
Pubblicato il 20 05 2008 alle 19:44
7
Alessandro Ronchi dice:
Ho reinstallato wp-super-cache ed ho notato che nella nuova versione costruisce una struttura di directory simile agli url. Questo è fondamentale perché così riduce gli indici delle singole dir, e probabilmente risolve il problema.
Ho rimosso alcune cose dalla cache, come ad esempio i trackback ed i /print.
Spero che regga, così la velocità è ottimale.
Pubblicato il 20 05 2008 alle 22:07