Bună ziua dragi cititori. Astăzi vreau să vă spun despre fișierul robots.txt. Aceasta este una dintre principalele etape ale optimizarea site-ului intern. Dacă încă nu știu de ce avem nevoie de ea, la toate, sau cum să-l configurați, atunci cu siguranta nevoie pentru a citi acest post până la sfârșitul anului.
Voi încerca cât mai mult posibil aproape să vă spun despre toate nuanțele în configurarea acestui fișier. Nu vreau să toarne o mulțime de apă, astfel încât să trecem direct la subiect.
Indexarea site-ului. Unul dintre cele mai importante ale promovării site-ului de căutare. Foarte des, site-ul are o grămadă de informații inutile pentru sistemul de căutare. De obicei, aceste site-uri sunt create cu ajutorul CMS.
De închidere nu este informația din dreapta va reduce încărcarea pe server, precum și ajutor pentru a scăpa de posibila dublare a informației. Ce este? Faptul că absolut toate motoarele de căutare nu le place informații duplicat.
sintaxa fișier robots.txt
În mod firesc pentru acest fișier are propriile reguli de linii directoare de sintaxă și de ortografie. Pentru unele motoare de căutare, în plus față de regulile generale au propriile lor. orientări de scriere standard este după cum urmează:
Dacă fișierul este gol, atunci robotul indicele va întregul site-ul complet. În cazul în care robotul motor de căutare va găsi erori în fișierul, atunci acesta va, de asemenea, indicele de toate. Deci, încalcă regulile, în orice moment, nu se poate.
Fiecare fișier trebuie să fie de cel puțin o intrare «User-agent». Acest apel la motorul de căutare păianjeni. În cazul în care, după această înregistrare standuri *, atunci echipa va fi pentru toate crawlerele. În cazul în care este scris un nume, apelul merge la un anumit păianjeni motor de căutare. Aici este o listă de câteva:
Yahoo! - Slurp (sau Yahoo! Slurp)
Apropo, aproape că am uitat să scrie una dintre cele mai importante reguli este că pentru fiecare intrare «User-agent», ar trebui să fie de cel puțin o directivă «Interdicție».