Semalt: Kako Google zna kada (i zašto) zaustaviti indeksiranje vaše web stranice?

Google pauci su podjednako važni kao i sama SEO kampanja pri marketingu web stranice. Oni pretražuju web mjesta i indeksiraju sadržaj sa svih stranica koje može pronaći. Također vrši ponovnu indeksiranje na ažuriranim stranicama na web mjestu. To se čini redovito, na temelju više čimbenika. Oni uključuju, ali ne ograničavajući se na, PageRank, ograničenja indeksiranja i veze pronađene na stranici. Koliko puta Google pauci pretražuju web lokaciju ovisit će o jednom ili više ovih čimbenika.

Posjetitelji bi trebali lako pregledavati web stranicu kao i Googleovi pauci za indeksiranje. To je razlog zašto je posjećivanje web mjesta prilagođenog pretraživanju i dodatna prednost nečijoj SEO kampanji. Inače, Google neće moći dobiti pristup sadržaju, što će smanjiti poredak web mjesta na stranici za rangiranje tražilice .

Ross Barber, menadžer uspjeha korisnika Semalta , definira da su dva najvažnija faktora indeksiranja na koje se Google oslanja kako bi utjecao na odluku o usporavanju ili prekidu pretraživanja vaše web stranice vrijeme povezivanja i kôd statusa HTTP-a. Ostali uključuju naredbu za odbacivanje, oznake "ne-slijedi" i robots.txt.

Povežite vremenske i HTTP kodove statusa

Faktor vremena povezivanja odnosi se na količinu vremena koje Googleov pretraživački bot pokušava da dosegne poslužitelj web mjesta i web stranice. Google se visoko cijeni brzinom jer ukazuje na dobro korisničko iskustvo. Ako web stranica nije optimizirana za brzinu, web stranica će tada dobiti lošu ocjenu. Google pauci će pokušati doći do web stranice, a ako je vrijeme potrebno za uspostavljanje veze duže, odustaju i rjeđe ga pretražuju. Nadalje, ako Google gurne da indeksira web stranicu trenutnom brzinom, to bi moglo prekinuti korisničko iskustvo jer može značajno usporiti njegov poslužitelj.

Drugi faktor indeksiranja su HTTP kodovi statusa koji se odnose na to koliko dobro poslužitelj odgovara na zahtjev za indeksiranjem web mjesta. Ako se statusni kodovi nalaze u rasponu od 5xx, onda Google preuzima na sebe da zaustavi ili odgodi brzinu kojom indeksiraju trenutnu web lokaciju. Sve što je u rasponu 5xx pokazatelj je mogućih problema s poslužiteljem i odgovaranje na zahtjev može biti problematično. Zbog rizika od dodatnih problema, Google-ovi će se botovi povući u stranu i provesti indeksiranje kada je poslužitelj pristupačniji.

Kada Google nastavlja pretraživati web stranicu?

Google vjeruje u pružanje najboljih iskustava korisnicima te će rangirati web mjesta koja optimiziraju njihove SEO elemente u skladu s tim ciljevima. No, ako web-lokacija trenutno ima gore spomenute probleme, naredit će svom Googlebotu da ga pokuša kasnije indeksirati. Ako se problemi nastave, vlasnik će izgubiti odličnu priliku da Google prođe kroz njegov sadržaj i dodijeli mu zasluženi rang na rezultatima pretraživanja. Pored ovih problema, bilo koji znak neželjene pošte blokiraće prikazivanje web lokacije u rezultatima pretraživanja.

Kao i svi drugi algoritmi koje Google koristi, i njegovi su pauci automatski. Razvijeni su za pronalaženje, indeksiranje i indeksiranje sadržaja na temelju određenih parametara. Ako web mjesto nije u skladu s određenim najboljim praksama, indeksiranje se neće dogoditi. Uključeni su brojni drugi faktori, ali uvijek imajte na umu obratiti pozornost na vrijeme povezivanja i HTTP statusne kodove vaše web stranice.