threading
-
Lock: 可被其他线程释放
-
.RLock: 与Lock的区别在于可被锁拥有者多次获取，只能被被锁拥有者释放，释放次数等于获取次数才算完全释放
-
Condition:
- condition实例自带公共锁，调用wait 或者notify之前需要获取公共锁
- 调用wait时会为当前线程创建一个waiter锁(Lock)并获取，放入dequeue,然后释放公共锁，再次获取waiter锁（因为没有释放, 获取操作会阻塞），最终会重新获取公共锁
- 调用notify时，会将dequeue中的锁释放
-
Semaphore: 基于Condition， 限制同时acquire的数量，并利用notify来通知waiter
-
Event: 基于Condition，通过一个flag变量来更新状态
queue
-
Queue: 基于一个dequeue 和 一个Lock 和共用Lock 的三个Condition
- dequeue: 数据get和put
- not_empty(Condition): 用于get
- not_ful(Condition): 用于put
- all_task_done(Condition):用于task_done和join
-
PriortyQueue: 继承Queue,区别在于
- 使用list存储数据
- 使用heapq对数据进行排序
multiprocessing
-
Process 通过配置context(或者用默认context)来选择通过什么模式启动子进程, linux下默认用fork模式
-
Lock 通过底层的SemLock实现
-
SimpleQueue: 使用Pipe通信，读和写各用一个锁来保证并发安全
-
Queue put会先放数据到进程的dequeue中缓冲，同时启动一个线程将dequeue中的数据写入到公共Pipe
-
Pool:
- 启动n个子进程，通过两个SimpleQueue:in_queue接受task、out_queue返回task的结果
- 主进程启动一个线程接收task_queue的任务，放入in_queue
- 主进程启动一个线程接收out_queue的结果，放入一个cache dict中
- apply： 构建一个ApplyResult实例，用一个Event来通知task的状态（_handle_results会更新Event状态）
concurrent.futures
- Waiter: 统计拥有的futures的状态，根据同步设置（第一次完成、第一次报错、全部完成）等来set Event
- Future: 存储task的状态结果