Plugin per gestire il Robots.txt con Wordpress

24 giugno 2011

Plugin per gestire il Robots.txt con WordPress

Scritto da SEOGM in Plugin SEO Wordpress

Oggi ti voglio presentare un altro plugin indispensabile per fare SEO con WordPress. Qualche giorno fa avevo parlato di un plugin SEO molto utile per la gestione del file Htaccess da WP, anche oggi, ti presenterò un utile plugin in grado di farti evitare l’uso dell’FTP ;o)

KB Robots.txt è un utilissimo plugin di WordPress che permette di gestire il file Robots.txt direttamente sul pannello di WP.

Il file Robots.txt è importantissimo, è molto utile per inibire determinate cartelle del sito ai robot dei motori di ricerca, permette quindi di escludere ad esempio su Google una determinata cartella /tuacartella/

con un semplicissimo comando puoi chiudere una cartella a Gooogle e agli altri motori di ricerca:

User-agent: *
Disallow: /tuacartella/

Chiudere il sito a tutti i robot

User-agent: * Disallow: /

Permettere di indicizzare il sito a tutti i robot

Per consentire a qualsiasi robot di accedere al tuo intero sito, puoi semplicemente lasciare vuoto il file robots.txt, o usare questo:

User-agent: * Disallow:

Bannare, escludere uno robot specifico

Per escludere uno specifico robot puoi utilizzare il nome del robot. Per sapere il nome del robots di uno specifico motore puoi consultare la lista di nomi robot per trovare il nome esatto.

Ad esempio, Google è Googlebot e Microsoft ricerca è MSNBot .

Per chiudere il sito solo a Google:
User-agent: Googlebot Disallow: /

Nel caso specifico di WordPress può capitare che Google vada a indicizzare più volte gli stessi contenuti del nostro sito o blog, questo può causare penalizzazioni per contenuto duplicato, puoi quindi inserire nel file robots.txt i seguenti comandi:

User-agent: *
Disallow: /*/feed/
Disallow: /*/feed/rss/
Disallow: /*/trackback/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /tag/

P.s. riguardo i Tag ci sono varie scuole di pensiero, al momento, stò facendo dei test a riguardo su più siti e di varia tipologia, appena avrò dei risultati attendibili farò un apposito post ;O)

Alla prossima!