Välimuistiin tallennetun robots.txt-tiedoston oletusarvoinen teksti näkyy alla. Jos olet muuttanut tätä tiedostoa sen jälkeen, kun olemme ladanneet sen, teksti voi poiketa viimeisimmästä versiosta. Etsimme uusia robots.txt-tiedostoja yleensä kerran päivässä.

Jätä tämä teksti tällaiseksi, niin voimme tarkistaa, estääkö välimuistiin tallennettu robots.txt-tiedosto tiettyjen URL-osoitteiden käytön. Muokkaa tätä tekstiä, jos haluat nähdä, miten robots.txt-tiedoston muutokset muuttaisivat tiettyjen URL-osoitteiden käyttöoikeuksia. Lisätietoja robots.txt-tiedoston syntaksista on sivustossa robotstxt.org.

Huomaa, että tämän tekstin muuttaminen ei muuta sivuston robots.txt-tiedostoa. Kun olet testannut robots.txt-tiedostoon tehdyt muutokset tässä, tee vastaavat muutokset sivustossa olevaan tiedostoon.