mirror
/
takahe
kopia lustrzana https://github.com/jointakahe/takahe
1
0
Forkuj 0
Kod Zgłoszenia Packages Projekty Wydania Wiki Aktywność

Instruct robots to ignore proxy (#413)

pull/416/head
Corry Haines 2023-01-14 10:15:18 -08:00 zatwierdzone przez GitHub
rodzic 2675ed69ee
commit ade954c2cd
Nie znaleziono w bazie danych klucza dla tego podpisu
ID klucza GPG: 4AEE18F83AFDEB23
1 zmienionych plików z 3 dodań i 0 usunięć
Pokaż statystyki Ściągnij plik aktualizacji Ściągnij plik porównania Expand all files Collapse all files

3
static/robots.txt
Wyświetl plik

@ -3,3 +3,6 @@ User-Agent: *
# Don't allow any bot to crawl tags.
Disallow: /tags/
Disallow: /tags/*
# Don't allow bots to crawl through the proxy
Disallow: /proxy/*