Salutări tuturor cititorilor blogului seversantana.ru. Cum se creează corect robots.txt, ce este pentru el și ce este? Să încercăm să clarificăm situația.
robots.txt - un fișier text compilat pentru roboți de motoare de căutare. Setează parametrii pentru indexarea site-ului. Acești parametri pot fi prescrise pentru toate roboții simultan și pentru fiecare motor de căutare separat.
crawlerele motorului de căutare ( „pânză de păianjen“) este un program special face parte dintr-un motor de căutare proiectat pentru scanarea paginilor web și introducerea informațiilor de pe aceste pagini în baza de date a motorului de căutare. În plus, în funcție de motorul de căutare nimeni nu știe algoritmul determină semnificația informațiilor primite, și stochează (sau nu) în indexul său determină clasamentul.
În plus față de diverse „antene web“ de pe Internet, și chiar mersul pe jos „ciocănitoare“ roboty- periodic „atingând“ site-uri indexate verificând disponibilitatea acestora. Asta pentru toată această "fiară" și a proiectat un fișier text robots.txt.
Scopul robots.txt este de a spune motoarelor de căutare ce pagini de site-uri și date pentru a le indexa și care nu. Acest lucru se face prin elaborarea de directive (instrucțiuni). Munca roboților de căutare care vin pe site începe cu descărcarea robots.txt.
Cum se comportă robotul de căutare în absența documentului robots.txt? Dacă este absent sau localizat incorect, când robotul nu-l poate găsi, scanează întregul site fără restricții.
În plus față de robots.txt, puteți interzice indexarea prin protejarea cu parolă a fișierelor de pe server sau folosind meta-tagurile cu directive de indexare.
E rau sau bun? Ei bine, lăsați să scaneze și să indexeze totul. Care este diferența dintre robots.txt sau nu? În primul rând, a face directive pentru robots.txt și a crea pentru prima dată în viața ta nu este o sarcină atât de consumatoare de timp. De ce să reveniți la fișierele de indexare sau să creați în mod voluntar duplicate interne?
Compilarea de directive în robots.txt pentru roboți de căutare nu este un ghid complet de acțiune. Acestea sunt doar recomandări. Totul depinde de robotul care a mers pe site și de modul în care algoritmii de căutare sunt configurați. Unii roboți se vor afla în situația în care nu văd interdicțiile noastre. Și chiar dacă ați "citit" directiva privind interzicerea completă a indexării site-ului nu stați pe fundul dvs. ca un robot în imaginea atașată la articolul meu. Și pur și simplu iau și indice ce au nevoie.
Dar, din moment ce ne interesează în principal în emiterea de Google și Yandex pentru aceste motoare de căutare în primul rând este robots.txt.Kak nostru am menționat mai sus, puteți crea un universal robots.txt pentru toate motoarele de căutare, și pot fi atribuite directivelor individuale (instrucțiuni) în mod specific pentru anumiți roboți.
Crearea și compilarea robots.txt
Va apărea următoarea fereastră în care trebuie să selectați o locație de pe computerul în care doriți să salvăm fișierul. De exemplu, pe desktop. Și prescrieți în rândul "Nume fișier" - robots.txt. Și faceți clic pe "Salvați". Toate, fișierul robots.txt a fost creat. Adevărat, până acum fără conținut. Acum, să facem directivele pentru roboții de căutare.
Utilizați directivele atunci când compilați robots.txt
De exemplu, vom compila cel mai simplu robots.txt din lume în două versiuni. Cu o interdicție completă de indexare a întregului site, și cu o directivă permisivă pentru indexarea totul la rând.
Interzicerea completă a indexării întregului site