Känner till Googlebot

Googlebot är en robot som låter dig spåra webben av Google, är också känd som Google -spindeln. På detta sätt upptäcker systemet de nya sidor som har indexerats till sin databas där de uppdateras och det införlivas tillbaka i Googles index.
Google använder en stor mängd datorutrustning för att genomsöka miljarder sidor som distribueras på webben. Den är baserad på en algoritmisk spårningsprocess, där datorprogram avgör vilka webbplatser som ska spåras, liksom frekvensen och antalet sidor som ska sökas på varje webbplats. Processen börjar med en lista med tidigare genererade webbsidor, som utökas baserat på data från de webbplatskartor som webbansvariga innehåller. Googlebot upptäcker länkarna vid varje besök du gör på dessa webbplatser och lägger dem till listan över sidor som ska genomsökas. Systemet upptäcker nya webbplatser, ändringar som görs i befintliga och länkar som är inaktuella och uppdaterar sedan Google -indexet.
Hur Googlebot kommer åt webbplatsen
Googlebot du brukar inte komma åt webbplatser mer än en gång och i några sekunder. I allmänhet laddar systemet bara ner en kopia av varje sida, om du laddar ner samma sida flera gånger beror det troligen på att sökroboten har stoppats och startats om.
Googlebot distribueras på flera datorer, plus att några av spindlarna körs från datorer som ligger nära webbplatserna de indexerar. Det kan vara så att sidloggarna visar besök från flera datorer som användaragent.
Målet är att genomsöka det största antalet sidor på en webbplats vid varje besök du gör utan att kollapsa bandbredden på servern.
Systemet hittar webbplatser genom länkarna på deras sidor. Vid spårningsfel kan de ses i Verktyg för webbansvariga från Google. Den listar problemen som uppstår när en webbplats genomsöks. Det är en bra idé att regelbundet kontrollera eventuella genomsökningsfel för att identifiera och åtgärda dem.
Eftersom IP-adresserna som hanteras av Googlebot tenderar att variera från tid till annan, är idealet att använda roboten "user-agent" (Googlebot). Google -spindeln kommer att respektera riktlinjerna i robots.txt -filen, men skadliga användare kanske inte följer dem.