Și acum la afaceri ...
Cum se creează un fișier robots.txt
Fișierul este plasat în directorul rădăcină, în unele gazde este fie "WWW", fie "public html", sau "httpdocs".
Deci, deschideți notebook-ul și completați-l. Completați ca în exemplul meu de mai jos, și acum doar sortați regulile de umplere.
Întotdeauna începem cu directiva User-agent. Acesta este numele robotului de căutare, puteți specifica robotul Yandex sau Google, dar este mai corect să permiteți tuturor roboților, pentru care scriem acest lucru:
Apoi se prescrie directiva Disallow. care este, Deny. Pentru a interzice indexarea fișierelor, a folderelor, a unor părți ale unui site (Permiteți - pentru a permite indexarea tuturor, este foarte rar să fiți înregistrat în robots.txt)
Pentru a împiedica indexarea conținutului din directorul wp-admin, trebuie să vă înregistrați
User-agent: *
Împiedicați: / wp-admin /
atunci doriți să interziceți indexarea anumitor pagini, de exemplu karta-sajta, prescrieți
User-agent: *
Împiedicați: / wp-admin /
Dezactivați: /karta-sajta.html
Sper că principiul de completare a dosarului este de înțeles ...
Închidem primele fișiere din fișierele de indexare:
- wp-admin /
- wp-content / plugins
- wp-content / themes
- wp-content / languages
- wp-include /
- wp-login.php
- wp-register.php
Acesta este modul în care fișierul este completat, dacă sunteți interesat să scrieți singur, dacă nu doriți să deranjeze. apoi iată dosarul pe care l-ați făcut corect, copiați-vă și puneți-l la dispoziție.