|
|
| Dal lato dei motori di ricerca, l'indicizzazione dei siti web è la loro prima e fondamentale operazione. Dopo averli registrati, i motori di ricerca scansionano periodicamente i siti presenti nei propri archivi per verificare eventuali aggiornamenti: tramite particolari programmi chiamati spider ("ragni"), entrano in un sito e ne incominciano a leggere il codice sorgente alla ricerca di nuove modifiche del contenuto o della struttura. Quando uno spider trova un link a un'altra pagina del sito o ad un altro sito, analizza anche quest'ultimo. Quando il motore di ricerca termina la lunga operazione di scansione dei siti già presenti in archivio comincia a scansionare tutti i siti proposti dai webmaster tramite il servizio add url (segnala un sito) che si trova in tutti i motori di ricerca. Il sito non viene indicizzato, totalmente o in parte, se nel codice HTML sono presenti istruzioni come <meta name="robots" content="noindex">, oppure, in caso di foto, <meta name="robots" content="noimageindex">.
|
| |