【Python】プロセスの処理コードを短縮できるmap | Udemyのセールを活用してほしかったあのスキルを手に入れよう！【非公式】

Python学習【365日チャレンジ！】222日目のマスターU（@Udemy11）です。

やっぱ数字が揃うと嬉しくなりますね。

といっても今回は、222なので、確変じゃないところが残念ですが、とりあえずニッコリしてしまいます。

「きりのいいところで」

という言葉がありますが、10とか50とか100だと思うので人によって、今回の数字である【222】もキリのいい数字になるのかもしれません。

まー、私にとっては、111も222もきりのいい数字には違いありません。

それでは、今日もPython学習をはじめましょう。

昨日の復習

昨日は、プールを使って処理をブロックする方法を学習しました。

apply_asyncはPoolを使って並列非同期処理ができましたが、applyは、処理をブロックして、プロセスが終了してから次のコードを処理することができました。

詳細については、昨日の記事をごらんください。

Udemyのセールを活用してほしかったあのスキルを手に入れよう！【非公式】

2020.09.18

【Python】ワーカープロセスの数を制限した非同期処理

https://udemyfun.com/python-asynchronous-processing-args

Python学習【365日チャレンジ！】220日目のマスターU（@Udemy11）です。自民党総裁選も終了し、新しい自民党の幹部が決まったらしいですが、平均年齢が71.4歳で、女性不在というところに昭和感がにじみ出ているのを感じるのは私だけでしょうか？いろいろな問題を有耶無耶にして、なかったことのようになっていくのかと思うと、国民が政治に関心がなくなっていくのもうなずけます。ちなみに71歳と言ったら通常定年退職している年齢なのに、日本を動かしてるいるのがそんなおじいさんばかりって、いったいこの国はどうなってるんでしょう...

今日は、コードの短縮化ができるmapについて学習します。

map

applyを使って次の処理をブロックしましたが、並列処理をしようと思えば、apply.asyncを使う必要が出てきます。

apply.asyncを使って並列処理をする場合は、非同期処理になるので、続けてなにか処理をするコードがあれば、先に処理が実行されます。

この2つの処理をまとめたような並列処理するプロセスをブロックして次のコードを後回しにできるのが、mapです。

import logging
import multiprocessing
import time

logging.basicConfig(
    level=logging.DEBUG, format='%(processName)s: %(message)s'
)

def worker1(i):
    logging.debug('start')
    time.sleep(5)
    logging.debug('end')
    return i

if __name__ == '__main__':
    with multiprocessing.Pool(3) as p:
        r = p.map(worker1,[100, 200, 300])
        logging.debug('executed')
        logging.debug(r)

14行目までは昨日と同じです。

17行目のp.mapで、ターゲットとなる関数をworker1にして、リストに[100, 200, 300]と指定することで、それぞれリストの値を入れた並列処理のプロセスを作ることができます。

次の行のexecutedは、並列処理が終了してから出力され、最後にmapで作られたプロセスの返り値がリストで出力されます。

実行結果

ForkPoolWorker-1: start
ForkPoolWorker-2: start
ForkPoolWorker-3: start #次のコードの出力に5秒まつ
ForkPoolWorker-3: end
ForkPoolWorker-1: end
ForkPoolWorker-2: end
MainProcess: executed
MainProcess: [100, 200, 300]

3つのプロセスが並列処理されてから、18行目以降が出力されます。