并发编程与外部函数接口：原理、技巧与工具

# 并发编程与外部函数接口：原理、技巧与工具 ## 1. 并发编程中的原子操作与性能优化 ### 1.1 原子操作的 fetch 方法 在并发编程中，线程池完成操作时，计数器的更新是一个常见问题。若两个线程同时完成任务，只要它们的增量都被计算，谁先更新计数器并不重要。fetch 方法实现了这类可交换操作，它在单个步骤中执行读取和存储操作，并保证存储操作是在原子变量持有该方法返回的确切值时执行的。 例如，`AtomicUsize::fetch_add(1, Ordering::Relaxed)` 总是会将 1 加到 `AtomicUsize` 的当前值上，并返回该线程的 1 被添加时 `AtomicUsize` 的值。fetch 方法通常比 `compare_exchange` 更高效，因为在多线程竞争访问变量时，它不需要线程失败重试。不过，如果有足够多的线程尝试对同一个原子变量进行操作，由于需要协调，这些操作会变慢并呈现次线性扩展。 ### 1.2 编写并发代码的技巧 #### 1.2.1 从简单开始 编写并发代码时，应从最简单的并发设计开始，然后进行性能测量。只有当测量显示存在性能问题时，才对算法进行优化。可以从不需要复杂使用原子操作或大量细粒度锁的并发模式开始，例如多个线程运行顺序代码并通过通道进行通信，或者通过锁进行协作。 如果基准测试表明存在性能问题，需要找出系统中扩展不佳的部分，并尝试进行小的调整来修复瓶颈。即使需要直接使用原子操作，也应先保持简单，使用 `Ordering::SeqCst` 和 `compare_exchange`，直到有证据表明它们成为瓶颈时再进行迭代优化。 #### 1.2.2 编写压力测试 编写压力测试是找出隐藏 bug 的好方法。压力测试通常让多个线程并行执行相对简单的操作，以触发多种可能的操作交织情况，从而使有问题的交织情况暴露出来。例如，在编写并发哈希映射时，可以让 N 个线程插入或更新键，M 个线程读取键，使这些线程经常选择相同的键。 压力测试类似于模糊测试，它生成许多随机的线程和内存访问调度。但压力测试只能发现那些以断言失败或其他恐慌形式表现出来的 bug，因此在低级别并发代码中添加断言是个好主意。 #### 1.2.3 使用并发测试工具 编写并发代码的主要挑战是处理不同线程执行的所有可能交织情况。手动编写执行所有可能合法执行的测试既繁琐又困难，因为需要对线程执行时间和读取值进行非常底层的控制，而操作系统可能无法提供这些控制。 ##### 1.2.3.1 使用 Loom 进行模型检查 Loom 是一个可以简化执行探索的工具。它期望用户以闭包的形式编写专用测试用例，并将其传递给 Loom 模型。模型会跟踪所有跨线程交互，并通过多次执行测试用例闭包来智能探索这些交互的所有可能迭代。 Loom 提供了标准库中允许线程相互协调的所有类型的替换类型，这些替换类型与 Loom 执行器相关联，具有双重功能：作为重新调度点，让 Loom 可以选择每个可能的线程交互点之后要运行的下一个操作；并告知 Loom 要考虑的新的可能交织情况。 不过，对于较大的测试用例，Loom 可能需要花费太长时间才能获得良好的代码覆盖率，因此在实践中可能需要让 Loom 只考虑部分可能的执行情况。 ##### 1.2.3.2 使用 ThreadSanitizer 进行运行时检查 对于较大的测试用例，可以使用 Google 的 ThreadSanitizer（TSan）。TSan 会在每次内存访问之前自动添加额外的簿记指令，在代码运行时，这些指令会更新并检查一个特殊的状态机，以标记任何表明存在问题的竞争条件的并发内存操作。 使用 TSan 时，通常只需要在程序运行时添加一个常数因子的开销，因此即使是最复杂的测试用例也可以在合理的时间内执行。目前，使用 TSan 需要使用 Rust 编译器的夜间版本，并传递 `-Zsanitizer=thread` 命令行参数。 ### 1.3 避免 Heisenbug Heisenbug 是指在尝试研究时似乎会消失的 bug，在调试高度并发的代码时经常会遇到这种情况。打印语句是导致并发 bug 消失的一个常见原因，主要有两个原因：一是打印到终端相对耗时，可能会延迟与其他线程操作竞争的操作，从而使竞争条件消失；二是写入标准输出通常由锁保护，这会引入额外的线程同步点，可能会修复原本由于缺少同步或特定竞争条件导致的 bug。 当发现 Heisenbug 时，可以尝试使用 Loom 或 TSan 等工具，或者使用每个线程的内存日志，只在最后打印。许多日志框架也会努力避免在发布日志事件的关键路径上出现同步点，因此切换到其中一个可能会使调试更容易。 ## 2. 外部函数接口（FFI） ### 2.1 FFI 概述 并非所有代码都是用 Rust 编写的，有时需要与其他语言编写的代码进行交互，这可以通过外部函数接口（FFI）来实现。Rust 提供的 FFI 主要机制是 `extern` 关键字，它可以用于将 Rust 函数和静态变量暴露给其他语言，也可以让 Rust 访问外部提供的函数和静态变量。 ### 2.2 跨越边界的 extern #### 2.2.1 符号 编译器从代码生成的任何二进制工件都包含符号，每个定义的函数或静态变量都有一个符号指向其在编译后二进制文件中的位置。通常，编译器会为符号选择半随机的名称，但在使用 FFI 时，需要使用稳定的名称。 要