Linux IO 多路复用:select、poll 与 epoll
网络服务需要同时管理大量连接。为每个连接创建一个长期阻塞线程实现简单,但线程栈、调度和上下文切换会随连接数增长。IO 多路复用允许一个线程等待多个文件描述符的就绪事件。
“就绪”不等于“操作已经完成”
select、poll 和 epoll 通知的是某个文件描述符现在可以尝试读写。应用仍要调用 read、write、accept 等系统调用完成操作。
在非阻塞模式下,一次读取可能只处理部分数据,也可能在状态变化后返回需要稍后重试。事件循环必须正确处理短读、短写和连接关闭。
select
select 使用位集合表达关注的文件描述符。每次调用通常需要:
- 准备关注集合;
- 把集合交给内核等待;
- 返回后遍历集合找出就绪描述符;
- 下次调用重新准备集合。
它存在集合大小限制,并且每次都要扫描关注范围。优点是接口历史悠久、可移植性较好。
poll
poll 使用结构体数组描述文件描述符和事件,摆脱了位集合的固定编号上限,但返回后仍需要遍历数组寻找就绪项。
当连接数量很大而活跃连接很少时,重复传递和遍历全部关注项会产生明显成本。
epoll
epoll 把关注集合保存在内核对象中:
- 通过控制接口增加、修改和删除关注项;
- 等待接口主要返回已经就绪的事件;
- 应用不必每次重新提交完整集合。
它适合 Linux 上连接数量大、活跃比例较低的场景。但“使用 epoll 就一定快”并不成立,小规模连接、业务处理开销和线程模型都会影响结果。
水平触发与边缘触发
水平触发
只要文件描述符仍处于就绪状态,后续等待还会继续通知。实现更直观,即使一次没有读完,也容易再次获得事件。
边缘触发
通常只在状态发生变化时通知。应用应使用非阻塞 IO,并持续读写直到返回“当前没有更多数据”。如果只读取一部分就返回事件循环,剩余数据可能不会立刻再次触发通知。
边缘触发可以减少重复通知,但代码正确性要求更高。
Reactor 事件循环
典型服务器会把多路复用放入 Reactor:
wait events → accept new connections → read available bytes → parse protocol frames → dispatch business work → write pending responses事件循环线程不应执行长时间阻塞业务,否则一个慢任务会延迟所有连接。CPU 密集或阻塞任务可以交给受控工作池,但跨线程交接也会增加排队和同步成本。
用户态与内核态
系统调用会进入内核执行,但不能简单把性能差异全部归因于“切换一次用户态/内核态”。真正成本还包括:
- 关注集合的复制或维护;
- 线性扫描;
- 就绪事件数量;
- 缓存局部性;
- 线程唤醒与调度;
- 应用协议处理。
应使用性能分析和真实负载判断瓶颈。
常见错误
- 使用边缘触发却没有读到
EAGAIN; - 阻塞套接字卡住事件循环;
- 没有处理半包、粘包和部分写;
- 连接关闭后仍保留业务引用;
- 把耗时数据库操作放进 IO 线程;
- 只增加事件循环线程而忽略下游容量。
总结
select、poll 和 epoll 都是在等待多个 IO 就绪,主要差异在关注集合如何表达和维护、就绪结果如何返回。理解就绪语义、非阻塞 IO 和事件循环,比只背三者数据结构更接近真实网络编程。