Pareizo robots.txt

Failu robots.txt — tas ir galvenais fails, kas nosaka noteikumus apstrādes lapas meklēšanas robotiem. Šis fails vajadzīgs, lai norādītu galveno vietnes nosaukumu, lapas kartes (sitemap.xml), atvērtā un slēgtā mājas lapas sadaļas.
Failu robots.txt ietver šādas direktīvas:

• User-agent — direktīva norāda, kāda robots nākamie noteikumi
• * - roboti
• Yandex — galvenais robots Yandex
• Googlebot — galvenais robots Google
• StackRambler — meklētājprogrammu robots Rambler
• Aport — meklētājprogrammu robots Апорт
• Slurp — robots Yahoo
• MSNBot — robots MSN
• Disallow — direktīva aizliegumu no vietnes daļas
• Allow — direktīva atļaujas vietnes daļas
• Host — direktīva norādes galveno nosaukumu vietnē
• Sitemap— direktīva norādes lapas kartes (sitemap.xml)
• Crawl-delay — direktīva norāda cik sekundes robots var gaidīt atbildi no vietnes (nepieciešama stipri lejupielādēto resursu, lai robots nav saskaitījis mājas lapā nepieejami)
• Clean-param — direktīva apraksta dinamiskie parametri, kas ietekmē uz saturu mājas lapā

Помимо директив в robots.txt используются спец символы:

• * - любай (tai skaitā arī tukša) rakstzīmju secība
• $ — ir ierobežojums noteikumi

Lai sastādītu robots.txt tiek izmantotas iepriekš minētās direktīvas un спет rakstzīmes pēc sekojoša principa:

• Norāda nosaukumu robots par kuru tiek rakstīta noteikumu sarakstu
  (User-agent: * likums visiem robotiem)
• Rakstīts sarakstu ar aizliegto mājas lapas sadaļas norādīto robots
  ( Disallow: / - aizliegums indeksācijas visas vietas)
• Rakstīts sarakstu ar atļauto vietņu sadaļu
  (Allow: /home/ — atļauts sadaļā home)
• Norāda nosaukumu vietnē
  (Host: crazysquirrel.ru — galvenais vietnes nosaukums crazysquirrel.ru)
• Tiek norādīts absolūto ceļu uz failu sitemap.xml
  (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Ja vietne nav aizliegto nodalījumu, tad robots.txt ir jāsastāv vismaz no 4 rindiņas:

Pārbaudīt robots.txt un to, kā tā ietekmē indeksāciju vietnē var, izmantojot instrumentus, Yandex