Salutări, prieteni! În această lecție vom vorbi despre crearea unui fișier robots.txt. care arată roboții motoarelor de căutare care părți ale site-ului dvs. aveți nevoie pentru a vizita și ce nu.
De fapt, cu ajutorul acestui fișier serviciu puteți specifica ce secțiuni vor fi indexate în motoarele de căutare și ceea ce nu este.
Crearea unui fișier robots.txt
1. Creați un fișier text simplu numit format de roboți .txt.
2. Se adaugă următoarele informații:
4. Salvați modificările și încărcați fișierul robots.txt (prin FTP), în directorul rădăcină al site-ului.
Versat în fișierul robots.txt (directiva)
Să analizăm acum mai în detaliu ce și de ce am adăugat în fișierul robots.txt.
User-agent - o directivă care este utilizată pentru a specifica numele de păianjeni motor de căutare. Prin această directivă, puteți dezactiva sau activa motorul de căutare păianjeni accesează site-ul. exemple:
Interziceți cache-ul robotului Yandex vizualizare dosar:
Se lasă robotul pentru a vizualiza directorul teme Bing (cu temele site-ului):
Permite și Disallow - Activați sau dezactivați directiva. exemple:
Rezolva Yandex bot naviga pe folderul wp-admin:
Banned toate roboții naviga pe folderul wp-content:
In aceasta nu folosim Directiva robots.txt permite, pentru că tot ceea ce nu este interzis de un Disallow bot - ar fi permis să implicit.
Gazdă - o directivă cu care trebuie să specificați site-ul oglinzii principale, care va fi indexat de robot.
Harta site-ului - utilizați această directivă pentru a specifica calea către harta site-ului. Permiteți-mi să vă reamintesc că harta site-ul este un instrument foarte important în promovarea site-ului! Asigurați-vă că să-l includă în prezenta directivă!