简单的 dask 程序不会在 ubuntu 17.10、python 3.6.3、dask 1.1.1 上延迟功能
2019-02-10
31
摘自 dask 教程
from time import sleep
def inc(x):
sleep(1)
return x + 1
def add(x, y):
sleep(1)
return x + y
%%time
x = inc(1)
y = inc(2)
z = add(x, y)
CPU 时间:用户 6.89 毫秒,系统:628 µs,总计:7.51 毫秒 挂钟时间:3 秒
from dask import delayed
%%time
x = delayed(inc)(1)
y = delayed(inc)(2)
z = delayed(add)(x, y)
CPU 时间:用户 1.04 毫秒,系统:97 µs,总计:1.13 毫秒 挂钟时间:1.23 毫秒
%%time
z.compute()
CPU 时间:用户 3.78 毫秒,系统:5.21 毫秒,总计:8.99 毫秒 挂钟时间:3.01 秒
挂钟时间几乎没有区别……而挂钟时间应该少一秒左右。我做错了什么?
1个回答
回答我自己的问题......关键问题是我正在运行一个单核虚拟机......所以单线程......通过运行分布式调度程序和两个分布式工作程序(沿着客户端)实现了预期的并行性
milind parikh
2019-02-10