非同期 HTTP リクエストを作成するためにasyncio
、 とを使用して次のコードを作成しました。aiohttp
import sys
import asyncio
import aiohttp
@asyncio.coroutine
def get(url):
try:
print('GET %s' % url)
resp = yield from aiohttp.request('GET', url)
except Exception as e:
raise Exception("%s has error '%s'" % (url, e))
else:
if resp.status >= 400:
raise Exception("%s has error '%s: %s'" % (url, resp.status, resp.reason))
return (yield from resp.text())
@asyncio.coroutine
def fill_data(run):
url = 'http://www.google.com/%s' % run['name']
run['data'] = yield from get(url)
def get_runs():
runs = [ {'name': 'one'}, {'name': 'two'} ]
loop = asyncio.get_event_loop()
task = asyncio.wait([fill_data(r) for r in runs])
loop.run_until_complete(task)
return runs
try:
get_runs()
except Exception as e:
print(repr(e))
sys.exit(1)
何らかの理由で、get
関数内で発生した例外はキャッチされません。
Future/Task exception was never retrieved
Traceback (most recent call last):
File "site-packages/asyncio/tasks.py", line 236, in _step
result = coro.send(value)
File "mwe.py", line 25, in fill_data
run['data'] = yield from get(url)
File "mwe.py", line 17, in get
raise Exception("%s has error '%s: %s'" % (url, resp.status, resp.reason))
Exception: http://www.google.com/two has error '404: Not Found'
では、コルーチンによって発生した例外を処理する正しい方法は何でしょうか?
ベストアンサー1
asyncio.wait
渡されたものを実際に消費するのではなくFutures
、完了するまで待機し、Future
オブジェクトを返します。
コルーチン
asyncio.wait(futures, *, loop=None, timeout=None, return_when=ALL_COMPLETED)
シーケンス futures によって指定された Futures およびコルーチン オブジェクトが完了するまで待機します。コルーチンは Tasks にラップされます。2 つのセット
Future
(完了、保留中) を返します。
リスト内の項目を実際にyield from
/するまで、それらは消費されないままになります。プログラムは先物を消費せずに終了するため、「例外は取得されませんでした」というメッセージが表示されます。await
done
あなたのユースケースでは、おそらくasyncio.gather
は、実際に各 を消費しFuture
、すべての結果を集約した単一の を返します(または、入力リスト内の future によってFuture
最初にスローされた を発生させます)。Exception
def get_runs():
runs = [ {'name': 'one'}, {'name': 'two'} ]
loop = asyncio.get_event_loop()
tasks = asyncio.gather(*[fill_data(r) for r in runs])
loop.run_until_complete(tasks)
return runs
出力:
GET http://www.google.com/two
GET http://www.google.com/one
Exception("http://www.google.com/one has error '404: Not Found'",)
実際には、いずれかの futures が例外を発生させたときの動作をカスタマイズできることに注意してくださいasyncio.gather
。デフォルトの動作では、最初に発生した例外を発生させますが、出力リスト内の各例外オブジェクトを返すこともできます。
asyncio.gather(*coros_or_futures, loop=None, return_exceptions=False)
指定されたコルーチン オブジェクトまたは Future からの結果を集約した Future を返します。
すべての future は同じイベント ループを共有する必要があります。すべてのタスクが正常に完了した場合、返される future の結果は結果のリストです (元のシーケンスの順序であり、必ずしも結果の到着順序ではありません)。
return_exceptions
の場合True
、タスク内の例外は成功した結果と同じように扱われ、結果リストに集められます。それ以外の場合、最初に発生した例外は返された future に直ちに伝播されます。