mirror
/
auto-archiver
kopia lustrzana https://github.com/bellingcat/auto-archiver
1
0
Forkuj 0
Kod Zgłoszenia Packages Projekty Wydania Wiki Aktywność

Allow redirects for Archive requets

pull/9/head
Logan Williams 2021-06-01 11:30:47 +02:00
rodzic ebafd1a744
commit 2540b54113
1 zmienionych plików z 1 dodań i 1 usunięć
Pokaż statystyki Ściągnij plik aktualizacji Ściągnij plik porównania Expand all files Collapse all files

2
auto_archive.py
Wyświetl plik

@ -383,7 +383,7 @@ def process_sheet(sheet):
# i'm sure there's a better way to handle this than nested try/catch blocks # i'm sure there's a better way to handle this than nested try/catch blocks
try: try:
r = requests.get( r = requests.get(
'https://web.archive.org/save/' + v[url_index]) 'https://web.archive.org/save/' + v[url_index], allow_redirects=True)
parsed = BeautifulSoup(r.content, 'html.parser') parsed = BeautifulSoup(r.content, 'html.parser')
title = parsed.find_all('title')[0].text title = parsed.find_all('title')[0].text