Livello di difficoltà: |
|
I motori di ricerca sono un punto di riferimento per ogni Web master. Il loro funzionamento è di vitale importanza per un sito ed è bene conoscerli al meglio per apparire in testa alle ricerche e per trovare altre informazioni per migliorare il nostro sito.
|
|
Indirizziamo i ragni
Analisi sui motori di ricerca
Abbiamo visto che, qualsiasi cosa facciamo, siamo noi a doverci adattare agli spider dei search engine. E' possibile però far adattare i robots alle nostre esigenze, indirizzandoli all'interno del sito, a nostro piacimento.
Se foste in possesso di un dominio, è possibile creare un file di nome robots.txt che va inserito nella root principale (www.dominio.com/robots.txt). In questo file, vanno inserite le istruzioni per "governare" il ragno. Ad esempio:
Escludere tutti i robots dai files contenuti nel dominio:
User-agent: *
Disallow: /
Consentire l'accesso a tutti i robots:
User-agent: *
Disallow:
(è anche possibile non creare il file o lasciarlo vuoto)
Escludere tutti i robots da una o più cartelle:
User-agent: *
Disallow: /cgi_bin/
Disallow: /secret/
Escludere un robot (nell'esempio quello di Excite) da alcune cartelle:
User-agent: ArchitextSpider
Disallow: /cgi_bin/
Disallow: /secret/
Escludere un robot (nell'esempio quello di Altavista) da tutti i file del dominio:
User-agent: Scooter
Disallow: /
Lasciare passare un unico robot (nell'esempio quello di Hotbot):
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
Per conoscere i nomi dei ragni di altri motori di ricerca, rimandiamo alle pagine dei rispettivi search engines.
Se non fossi in possesso di un dominio, esiste un meta tag ad hoc, che nonostante la minore flessibilità e potenza rispetto all'inserimento del file robots.txt, consente un discreto risultato:
<meta name="robots" content="noindex, nofollow">
Esaminati tutti gli aspetti legati ai motori di ricerca, non possiamo far altri che augurarti in bocca al lupo per l'indicizzazione del tuo sito Web (a proposito ti consigliamo di cliccare qui).
|
| |