ReadTimeout: HTTPSConnectionPool(host='', port=443): 読み取りがタイムアウトしました。(読み取りタイムアウト=10) 質問する

ReadTimeout: HTTPSConnectionPool(host='', port=443): 読み取りがタイムアウトしました。(読み取りタイムアウト=10) 質問する

あるサイトで Web スクレイピングを実行していますが、スクリプトを実行すると次のエラーが発生することがあります。

ReadTimeout: HTTPSConnectionPool(host='...', port=443): Read timed out. (read timeout=10)

私のコード:

url = 'mysite.com'
all_links_page = []
page_one = requests.get(url, headers=getHeaders(), timeout=10)
sleep(2)
if page_one.status_code == requests.codes.ok:
    soup_one = BeautifulSoup(page_one.content.decode('utf-8'), 'lxml')
    page_links_one = soup_one.select("ul.product_list") 

    for links_one in page_links_one:
        for li in links_one.select("li"):
            all_links_page.append(li.a.get("href").strip())

私が見つけた答えは満足のいくものではなかった

ベストアンサー1

タイムアウトを増やして、すぐに 120 秒に設定することで解決しました。サーバーからの応答は 40 秒以内に来ることがわかりました。

おすすめ記事