Nu permiteți indexarea paginilor / directoarelor (robots.txt)
Toți roboții de căutare, atunci când accesează site-ul, caută mai întâi un fișier robots.txt. Acesta este un fișier text localizat în directorul rădăcină al unui site (același loc în care fișierul index principal. Domeniul / site-ul primar este directorul public_html), a înregistrat instrucțiuni speciale pentru roboții motoarelor de căutare. Aceste instrucțiuni nu pot permite indexarea unei pagini de dosar sau site-ul, specificați robotul de pe site-ul oglinda principală, pentru a recomanda robot de căutare pentru a observa un anumit interval de timp de indexare a site-ului și multe altele
Dacă fișierul robotx.txt nu se află în directorul site-ului dvs., atunci îl puteți crea.
Pentru a împiedica indexarea site-ului prin fișierul robots.txt, se folosesc două directive: User-agent și Disallow.
Agent utilizator: SPECIFY_PROTECT_BOB
Dezactivați: / # intregul site va fi indexat
Nu permiteți: / page / # nu va permite indexarea paginii / Page /
1. Împiedicați indexarea site-ului dvs. de către MSNbot
2. Interzice indexarea site-ului dvs. de botul Yahoo
Agent-agent: Slurp
Nu permiteți: /
3. Interzice indexarea site-ului dvs. de bot Yandex
4. Nu permiteți Google să indexeze site-ul dvs.
5. Interzice indexarea site-ului dvs. pentru toate motoarele de căutare
6. complică problema și să interzică astfel de Yandex indexate dosar cgi-bin și imagini și fișiere Fetch myfile1.htm și myfile2.htm în directorul nosubdir (numele dosarului în cazul în care se află fișierele myfile1.htm și myfile2.htm)
Agent-utilizator: Yandex
Închideți: / cgi-bin /
Nu permiteți: / images /
Agent utilizator: Aport
Dezactivați: /subdir/myfile1.htm
Dezactivați: /subdir/myfile2.htm
7. Preveniți indexarea folderelor cgi-bin și imagini pentru toate motoarele de căutare
User-agent: *
Nu permiteți: / cgi-bin /
Nu permiteți: / images /
Acum, modul de soluționare a indexa toate paginile site-ului dvs. la toate motoarele de căutare (Notă: echivalentul acestei instrucțiuni ar fi un fișier robots.txt):
P.S. Pentru diverse CMS, puteți găsi pe Internet recomandări care ar trebui să fie mai bine închise de la indexarea de către motoarele de căutare. mai mult este necesar din motive de securitate și reducerea sarcinii pe server.
- 9 utilizatori au considerat acest lucru de ajutor
Articole similare
Redirecționați de la HTTP la HTTPS utilizând .htaccess
Cum se mărește limita de memorie pentru script (memory_limit).
Cum de a crește limita de memorie pentru un script, site-ul, CMS (memory_limit)? Dacă trebuie să aveți o limită.
Cum să încărcați rapid un site web (fișiere) în FTP
Toată lumea știe că atunci când copiați o mulțime de fișiere mici pe FTP sau pe computer, cu.
Cum să vizualizați setările PHP actuale.
Pentru aceasta, există o funcție specială phpinfo (). Creați în director
Crearea și utilizarea propriului fișier php.ini (suPHP)
Crearea și utilizarea propriului fișier php.ini Aceste informații nu sunt relevante.