Hadoop RPC远程过程调用框架

Hadoop RPC 分为两层:上层是直接供外面使用的公共 RPC 接口;下层是一个客户机服务器模型，该模型在实现过程中用到了 Java 自带的多个工具包，包括java.lang.reflect(反射机制和动态代理相关类)、java.net(网络编程库)和java.nio (NIO)等。

Hadoop RPC（远程过程调用）是Hadoop分布式文件系统（HDFS）和其他Hadoop生态系统组件之间通信的机制，使得分布式集群中的不同节点能够无缝地相互交流和交换数据。

Hadoop RPC的主要目标是提供一种简单高效的方法，让Hadoop不同组件能够通过网络进行交互，而不管节点的物理位置。这在像Hadoop这样的大规模分布式系统中尤为重要，因为数据被分布在多个节点上，任务需要并行协调和执行。

Hadoop RPC基于TCP/IP协议运行，并使用Java序列化来在节点之间发送和接收数据。Hadoop RPC的两个主要组件是：

1. RPC服务器：RPC服务器运行在Hadoop集群中的每个节点上，并监听传入的RPC请求。它注册了各种可提供的服务及其对应的实现类。

2. RPC客户端：RPC客户端由其他组件（例如MapReduce、HDFS等）使用，以调用RPC服务器上的远程方法。客户端存根（stub）处理通信细节，如序列化方法参数、将其发送到服务器并反序列化响应。

当发起RPC调用时，客户端和服务器使用一种定义好的协议进行通信，其中客户端指定要执行的方法及其参数。服务器处理请求，在服务器端执行方法，然后将响应发送回客户端。

Hadoop RPC