Forumul de promovare a site-ului „Întrebări de la începători la SEO“ SEO Glosar de termeni (FAQ)
Care este "crawler" (Spider Bot)
crawler web (robot, spider) - un software special de orice motor de căutare, tipul de browser, a cărui sarcină este de a contribui la baza de date (indexul de căutare) documente noi și actualizate. De la motoarele de căutare astfel încât același apel: șenile, păianjen, bot, robot, spider, automaticindexer, furnică, WebCrawler, bot, webscutter, webrobots, webspider.
Principiul de funcționare al crawler
Prin trecerea noilor site-uri și pagini, astfel încât aceiași indici de roboți paginile actualizate și site-uri, rata de actualizare care este fixă. Acest lucru se face în scopul de a determina cât de des robotul nevoie pentru a vizita site-ul. În cazul în care a înregistrat că site-ul este actualizat, în medie, o dată pe săptămână - atunci crawler va vizita o dată pe săptămână. Dacă se adaugă conținut și actualizat în fiecare zi, de mai multe ori pe zi, un astfel de robot poate veni la tine atât de des. Uneori, acești roboți sunt practic „live“ de pe site-ul tau. Lor așa-numita „bystrorobotami“. Pe măsură ce trimit mai multe pagini în indexul de căutare în câteva minute.
Alte motoare de căutare ca la fel au robotul lor de căutare, și scopul funcțional al care sunt diferite.
gestionaţi pe șenile
Gestionați Crawler nu este posibil, este prerogativa a motoarelor de căutare pe care le controlează. Și algoritmi de scanare ale acestor roboți sunt necunoscute muritorii de rand. Dar putem da roboți orientări și recomandări cu privire la site-ul de scanare. Trimite-l în direcția cea bună, pentru a informa actualizarea paginii, furnizează data acestei actualizări, sau vice-versa, Dezactivați indexarea. Toate acestea sunt descrise pentru o lungă perioadă de timp, acest lucru ar da link-uri la un articol care vă va spune în detaliu modul în care puteți controla crawler și ce să-i spun.
Este un fișier robots.txt propriu-zis - fișierul robots.txt este cel mai important document pentru motoarele de căutare de pe site. Inițial, el se referă la el, ia în considerare instrucțiunile dumneavoastră de a interzice anumite pagini sau directoare, sau întregul site, ținând cont de celelalte directive ale acestui fișier, și numai apoi începe să se târască. Vă sugerez cu tărie să citiți acest articol.
Meta-tag-uri - Ce sunt si de ce ai nevoie - metaetichete cel mai important instrument în optimizarea site-ul dvs., și indică faptul că un păianjen sau alte informații de pe site. Cine deține site-ul, ce cuvinte cheie pentru el este, ca de codificare este utilizat atunci când conținutul este actualizat, este de dorit pentru o descriere a paginii pentru a afișa în rezultatele căutării, și multe altele. În general, așa că am recomanda o examinare atentă a celor care nu sunt încă conștienți de meta-tag-uri sau știu, dar destul de un pic.