Creați un document text simplu și numiți-l pe robots.txt. În Windows 7, nu este nevoie să scrieți extensia .txt, trebuie doar să apelați documentul de text robot nou creat
Sintaxa nu este absolut complicată, nu este nimic interzis.
User-Agent: * - această directivă specifică ce robot de căutare este accesat. Simbolul "*" înseamnă că toți roboții. Pentru a indica robotul unui anumit motor de căutare, trebuie doar să scrieți numele robotului în loc de "*".
Iată o listă de motoare de căutare pentru motoarele de căutare importante:
Nu permiteți: - directivă care interzice indexarea unui fișier. material, pagină, director.
Pentru ca motoarele de căutare să indexeze toate materialele, aveți nevoie de directiva Disallow: lăsați goale:
Permiteți: - directiva permite indexarea acestui sau acelui material, paginii, directorului.
Pentru a interzice complet indexarea întregului site, trebuie să scrieți următorul cod:
De asemenea, puteți interzice indexarea fișierelor cu o anumită extensie, de exemplu, prin inserarea unei astfel de linii în robots.txt, interzicem indexarea tuturor fișierelor cu extensia .pdf:
Gazdă: - o direcție care indică oglinda site-ului principal. Deci, puteți specifica site-ul principal cu sau fără www. Cu toate că este mai bine să faceți acest lucru pe partea de găzduire.
Sitemap: - O directivă care indică unde este localizată harta site-ului .xml destinată motoarelor de căutare.
Fișierul robots.txt ar trebui să fie plasat în directorul rădăcină al site-ului.
Pentru site-urile create folosind CMS (sisteme de management al conținutului), cum ar fi WordPress sau Joomla! Există pluginuri speciale care vă permit să configurați indexarea corectă a site-ului.