Approfondimenti e Strategie di Web Marketing

DreamHost, GoogleBot ed il Consumo di CPU

Nonostante molte delle pagine sono state bloccate nel robots.txt, GoogleBot si sta divertendo! Oltre 6000 pagine al giorno scansionate e picchi di 50 MB scaricati da parte dello spider di Google!

Scansione GoogleBot Dreamhost

I ragazzi del supporto DreamHost mi hanno prontamente avvisato che ultimamente il 30% del consumo di cpu del server su cui sono ospitato vengono utilizzate da questo blog ( Bellissimo! 🙂 Saranno contenti gli altri clienti sulla stessa macchina!).

Come soluzione provvisoria, per vedere se si riesce a rimediare qualcosa ho riattivato il plugin WP-Super-Cache che avevo disattivato qualche tempo fa inserendo un Expire Time altissimo (3600000 secondi!). Inoltre ho eliminato dal tema un paio di css di abbellimento, come md_stylechanger.js e iconize.css.

Come ultima cosa, tempo permettendo, proverò magari a fare un pò di tweaking su php, seguendo magari le dritte di davide e fullo. Qualche altra soluzione da proppore ?

Se vedete offline questo blog per qualche tempo, sapete il motivo! 🙂

7 Commenti

Sia i commenti che i trackback sono disabilitati.


7 Risposte a “DreamHost, GoogleBot ed il Consumo di CPU”

  1. 1

    fullo dice:

    sul mio blog ho spiegato come ottimizzare il file robots.txt è un po’ “pesante” come soluzione perchè ti fa perdere un po’ i di indicizzazione ma finchè google non rallenta è una discreta pezza.

    http://www.fullo.net/blog/archives/2007/12/20/googlebot-dreamhost-e-wordpress/

  2. 2

    Cristiano dice:

    Secondo me, l’unica soluzione alternativa (anche se impegnativa e forse traumatica) cambiare l’hosting e orienarsi verso qualche soluzione di tipo professionale.

  3. 3

    Daniele dice:

    @fullo: hai letto le prime righe del post 🙂 il robots dovrebbe già essere ok

    @Cristiano: Si, sto pensando di passare a DreamhostPS
    vediamo come va!

  4. 4

    Alessandro Ronchi dice:

    In teoria i contenuti duplicati, quindi anche gli archivi, penalizzano l’indicizzazione. Quindi il lavoro sul robots.txt è utile anche per questo.

    Altro problema: la cache su file su disco può rallentare quando il numero di articoli è elevato?

    Qual’è l’Expire time migliore che permetta di avere un numero di file ragionevole ed abbastanza pagine cachate?

  5. 5

    Alessandro Ronchi dice:

    PS: io ho occupato anche di più, del mio server su dh 🙂

  6. 6

    Daniele dice:

    @Alessandro Ronchi: sono arrivato ad avere oltre 30.000 pagine cachizzate. Sia in cache che super-cache. Proprio ora ho disattivato il plugin poichè mi stava creando problemi con i commenti.

    In pratica quando qualcuno lasciava un commento la pagina non veniva refreshata. Mah…

    L’expire time ci ho messo un valore altissimo. In pratica ho aggiunto diversi zeri a quello di default. Questo poiche secondo me non ha senso refreshare le pagine oramai datate… quindi va bene mantenerne sempre una versione statica. 😉

  7. 7

    Alessandro Ronchi dice:

    Ho reinstallato wp-super-cache ed ho notato che nella nuova versione costruisce una struttura di directory simile agli url. Questo è fondamentale perché così riduce gli indici delle singole dir, e probabilmente risolve il problema.

    Ho rimosso alcune cose dalla cache, come ad esempio i trackback ed i /print.

    Spero che regga, così la velocità è ottimale.

Spiacente, i commenti sono chiusi.