考察Hadoop的底层rpc通信(一)，考察hadoop底层rpc

考察Hadoop的底层rpc通信(一)，考察hadoop底层rpc

简介

IPC：inter process communication 即进程间通信
RPC: remote procedure call 即远程过程调用
首先，我们通过一张图来了解Hadoop中的IPC与RPC：

IPC是进程间通信的过程，RPC作为远程过程的调用，必定会涉及到IPC通信
远程过程调用，指调用服务器上的方法，所以业务真正的是执行在服务器上的；客户端通过网络间通信，与远程服务器打交道，本身是没有进行实现的(所以在服务器端有相关的程序进行实现)
在本文中，将通过Hadoop提供的相关API，用Java程序来实现服务器端和客户端，模拟这种通信机制。
在实现程序之前，先通过下图来了解程序的实现流程：

程序实现

创建java程序
客户端和服务器端
创建接口HelloWorldService.java

public interface HelloWorldService extends VersionedProtocol{
    static final long versionID = 1;
    public String sayHello(String msg);
}

实现接口

import java.io.IOException;
import org.apache.hadoop.ipc.ProtocolSignature;

public class HelloWorldServiceImpl implements HelloWorldService {

    public long getProtocolVersion(String protocol, long clientVersion) throws IOException {
        return 1;
    }

    public ProtocolSignature getProtocolSignature(String protocol, long clientVersion, int clientMethodsHash)
            throws IOException {
        try {
            return ProtocolSignature.getProtocolSignature(protocol, clientVersion);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        return null;
    }

    public String sayHello(String msg) {
        System.out.println(msg);
        return "hello" + msg;
    }
}

创建MyServer服务器端

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.RPC.Server;

/**
 * 服务器端
 */
public class MyServer {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            Server server = new RPC.Builder(conf)
                    //设置协议
                    .setProtocol(HelloWorldService.class)
                    //设置实现类
                    .setInstance(new HelloWorldServiceImpl())
                    //绑定地址
                    .setBindAddress("localhost")
                    //设置处理器个数
                    .setNumHandlers(2)
                    //设置端口号
                    .setPort(8888).build();
            //build完之后，启动服务器
            server.start();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

创建MyClient客户端

import java.net.InetSocketAddress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

/**
 * 客户端
 */
public class MyClient {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            HelloWorldService proxy = RPC.getProxy(HelloWorldService.class, HelloWorldService.versionID, new InetSocketAddress("localhost",8888), conf);
            String result = proxy.sayHello("world");
            System.out.println(result);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

运行
1.启动服务器端
2.启动客户端
运行结果
启动服务端

启动客户端

启动客户端之后，服务端的反馈