Pe șenile (robot, spider, automaticindexer, furnică, webspider, webscutter, robot de căutare) - un program de căutare specială, care face parte din motorul de căutare (Google și Yandex, etc ...), și destinate pentru site-urile de indexare.
Căutare robot de a găsi, astfel, site-uri noi, noi pagini și se pune în index, și stabilește o actualizare a cunoscut anterior la paginile. Ceea ce este interesant, bot motor de căutare este capabil să determine frecvența actualizărilor de informații de pe pagina ta. De exemplu, dacă aveți un site de știri este actualizată zilnic, roboții de căutare vor vizita site-ul dvs. mai des, iar dacă aveți o pagină de afaceri cu descrierea serviciilor companiei în cazul în care conținutul nu este schimbat de-a lungul anilor, iar robotul de căutare pentru tine, de asemenea, va merge o dată pe an.
Tipuri de roboți de motoare de căutare
Fiecare crawler motor de căutare nu este una, ci un întreg set de roboți în care fiecare ascutita de o anumită sarcină și accesează site-ul dvs. cu frecvențe diferite, în momente diferite.
Yandex crawlerele motorului de căutare
păianjeni motor de căutare Google
Google are păianjeni motor de căutare sale.
Este important de remarcat faptul că site-ul poate fi găsit prin căutarea (Yandex, Google) nu este imediat după căutare indicele său bot voință. La început, totul este înregistrat în baza de date, iar apoi există o actualizare (bază de date de actualizare).
Pe un exemplu dur de acest lucru este după cum urmează:
roboții motoarelor de căutare, de asemenea, distorsiona datele din sistemele de analiză web, cum ar fi Yandeks.Metrika și Google Analytics. Acolo Crawlere înțeles ca vizitatorii obișnuiți. Cu toate acestea, roboții motoarelor de căutare pot fi filtrate, dacă efectuați anumite setări în sistemele de analiză web.