După ce ați creat și încărcat Sitemap-ul XML pe serverul web.
Când trebuie să actualizez directiva Sitemap?
Actualizați directiva numai dacă adresa URL curentă a Sitemap-ului sa modificat. În cazul în care Sitemap-ul este actualizat, dar URL-ul său rămâne același, nu este necesară nicio acțiune suplimentară.
Pentru a adăuga o directivă privind disponibilitatea unui Sitemap în robots.txt, adăugați următoarea linie:
Este adresa URL completă a Sitemap-ului dvs. XML (de exemplu: sitemap.xml).
Ca rezultat, ar trebui să obțineți următorul text robots.txt:
User-Agent: *
Harta site-ului: httr: //mysite.com/sitemap.xml
În cazul în care trebuie să actualizați directiva - este suficient să înlocuiți linia în robots.txt:
Ce se întâmplă dacă robots.txt conține mai multe secțiuni (User-Agent)?
Dacă utilizați diferite directive pentru diferite roboți de căutare, ar trebui să adăugați o directivă Sitemap fiecăruia dintre ele (sau celor care corespund cu roboții de căutare cărora doriți să trimiteți informațiile despre Sitemap).
Ca rezultat, ar trebui să obțineți următorul text robots.txt:
# Pentru toți, cu excepția Google și Yandex
User-Agent: *
Harta site-ului: httr: //mysite.com/sitemap.xml
# vor fi folosite de roboții Yandex
Agent-utilizator: Yandex
Harta site-ului: httr: //mysite.com/sitemap.xml
# va fi utilizat de Googlebot
User-Agent: Googlebot
Harta site-ului: httr: //mysite.com/sitemap.xml