页面加载中...

Java NIO的理解

| Java | 0 条评论 | 60浏览

概述

Java的NIO是一种的新的Java io机制。这里的NIO就是New IO,而不是Not blocking(非阻塞i)的IO。与传统的Java IO不一样的是,NIO提供了非阻塞状态的IO操作,但是,并不是所有的NIO都是可以非阻塞的,比如NIO中文件流的相关API就是阻塞状态的。

可以认为JavaNIO的操作,只需一个线程,就可以具备处理多个数据流的能力。这点类似Linux系统上的多路IO复用技术,比如redis的实现就是利用了linux的该技术。

Java NIO 由以下几个核心部分组成:

  • Buffers
  • Channels
  • Selectors

这三个组件是Java NIO最核心的组件。虽然Java NIO 中除此之外还有很多类和组件,其它组件,如Pipe和FileLock,只不过是与三个核心组件共同使用的工具类。所以先来好好研究下这三个核心组件。

Buffer

Buffer用于和NIO通道进行交互,即Buffer的数据从channel中来,也可以到channel中去。

Buffer其实就可以看作是一块内存,Java NIO其实就是封装了该内存,然后提供了Buffer的各种API操作。

比如:既然是内存,那么肯定就需要指定的大小来分配内存:

//表示分配了一块32字节代下的Buffer
ByteBuffer byteBuffer = ByteBuffer.allocate(32);

ByteBuffer只是Java NIO中Buffer的一种类型,可以认为这块内存用来放字节的类型。其他的Buffer类型还有: (根据类名,顾名思义,就能知道其作用)

  • ByteBuffer
  • MappedByteBuffer
  • CharBuffer
  • DoubleBuffer
  • FloatBuffer
  • IntBuffer
  • LongBuffer
  • ShortBuffer

buffer的读写

Buffer的独写一般遵循如下四个步骤:

  1. 写入数据到Buffer
  2. 调用flip()方法
  3. 从Buffer中读取数据
  4. 调用clear()方法或者compact()方法

当向buffer写入数据时,buffer会记录下写了多少数据。一旦要读取数据,需要通过flip()方法将Buffer从写模式切换到读模式。在读模式下,可以读取之前写入到buffer的所有数据。

比如:

ByteBuffer byteBuffer = ByteBuffer.allocate(32);//指定内存大小
byteBuffer.put("abc".getBytes()); //使用put方法往Buffer里放数据
byteBuffer.flip(); //filp切换读模式
//读取buffer的数据,
System.out.println(new String(byteBuffer.array()));
//把这块内存清空
byteBuffer.clear(); 

如上,最简单的写入读取操作,当然实际的buffer都是跟channel进行交互。

capacity,position和limit

在上面的方法中,可以看到,在进行读之前,调用了flip()方法。flip方法将Buffer从写模式切换到读模式。调用flip()方法会将position设回0,并将limit设置成之前position的值。

换句话说,position现在用于标记读的位置,limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等。

buffer三个属性主要属性:

  • position : 表示数据写、读到哪个位置了
  • limit :表示已经能写、能读了多少数据
  • capacity :表示最多能写多少数据。也就是Buffer的容量大小

读写模式的说明可见下图:

capacity是对于buffer来说是一个固定值,你只能往里写capacity个byte、long,char等类型。一旦Buffer满了,需要将其清空(通过读数据或者清除数据)才能继续写数据往里写数据。

  • 写模式下: limit和capacity的值是一样的,每当数据写入时,position就移动到下一个可插入数据的单元中。
  • 读模式下: 写模式需要手动调用flip方法后才可以进行读。此时limit就是读模式下position的大小,position就重置为0,当从Buffer的position处读取数据时,position向前移动到下一个可读的位置。

Channel

Channel(通道)类似流,但又有些不同:

  • 既可以从通道中读取数据,又可以写数据到通道。但流的读写通常是单向的。
  • 通道可以异步地读写。
  • 通道中的数据总是要先读到一个Buffer,或者总是要从一个Buffer中写入。

Channel的实现

这些是Java NIO中最重要的通道的实现:

  • FileChannel 从文件中读写数据
  • DatagramChannel 能通过UDP读写网络中的数据。
  • SocketChannel 能通过TCP读写网络中的数据。
  • ServerSocketChannel可以监听新进来的TCP连接,像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

比如使用FileChannel将Buffer里的数据写入到文件中去:

@Test
public void testFileChannel() throws IOException {
	String str2Write = "hello world"; //要将这个字符串
    String targetFilePath = "D:\\my-target.log"; //要写入到这个文件
    FileOutputStream fileOutputStream = new FileOutputStream(targetFilePath);
    //通过文件流打开channel
    FileChannel fileChannel = fileOutputStream.getChannel();
    
    //字节Buffer,缓存要写入的字符串
    ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
    byteBuffer.put(str2Write.getBytes());
    
    byteBuffer.flip(); //开启读模式
    int write = fileChannel.write(byteBuffer); //将buffer的数据写入channel中,也就是写入到文件里
    System.out.println(write);
    fileChannel.close();
    fileOutputStream.close();

}

上述是Channel与Buffer的交互,也可以直接Channel跟Channel交互,直接将一个Channel的数据全部写到另一个Channel中去,通过transferFromtransferTo方法,比如:

@Test
public void testtransfer() throws IOException {
    RandomAccessFile from = new RandomAccessFile("D:\\mbb-target.log", "rw");
    RandomAccessFile to = new RandomAccessFile("D:\\mbb-target-new.log", "rw");
    FileChannel fromChannel = from.getChannel();
    FileChannel toChannel = to.getChannel();
    fromChannel.transferTo(0,fromChannel.size(),toChannel);
}

Selector

Selector(选择器)是Java NIO中能够检测一到多个NIO通道,并能够知晓通道是否为诸如读写事件做好准备的组件。这样,一个单独的线程通过Selector可以管理多个channel,从而管理多个网络连接。

基本使用

直接使用Selector.open()方法即可创建一个Selector:

Selector selector = Selector.open();

Selector创建后会一直保持打开的状态,除非调用其close方法。

为了将Channel和Selector配合使用,必须将channel注册到selector上。通过SelectableChannel.register()方法来实现,如下:

channel.configureBlocking(false);
SelectionKey key = channel.register(selector,Selectionkey.OP_READ);

与Selector一起使用时,Channel必须处于非阻塞模式下。这意味着不能将FileChannel与Selector一起使用,因为FileChannel不能切换到非阻塞模式。而套接字通道都可以。

注意register()方法的第二个参数。这是一个“interest集合”,意思是在通过Selector监听Channel时对什么事件感兴趣。可以监听四种不同类型的事件:

  • Connect
  • Accept
  • Read
  • Write 通道触发了一个事件意思是该事件已经就绪。所以,某个channel成功连接到另一个服务器称为“连接就绪”。一个server socket channel准备好接收新进入的连接称为“接收就绪”。一个有数据可读的通道可以说是“读就绪”。等待写数据的通道可以说是“写就绪”。

这四种事件用SelectionKey的四个常量来表示:

SelectionKey.OP_CONNECT SelectionKey.OP_ACCEPT SelectionKey.OP_READ SelectionKey.OP_WRITE 如果对不止一种事件感兴趣,那么可以用“位或”操作符将常量连接起来,如下:

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

SelectionKey

在上面,当向Selector注册Channel时,register()方法会返回一个SelectionKey对象。这个对象包含了一些你感兴趣的属性:

  • interest集合: 是你所选择的感兴趣的事件集合
  • ready集合 : 是通道已经准备就绪的操作的集合
  • Channel
  • Selector
  • attachment 附加的对象(可选):可以将一个对象或者更多信息附着到SelectionKey上,这样就能方便的识别某个给定的通道 下面我会描述这些属性。

通过Selector选择通道

一旦向Selector注册了一或多个通道,就可以调用几个重载的select()方法。这些方法返回你所感兴趣的事件(如连接、接受、读或写)已经准备就绪的那些通道。换句话说,如果你对“读就绪”的通道感兴趣,select()方法会返回读事件已经就绪的那些通道。

下面是select()方法:

int select() int select(long timeout) int selectNow() select()阻塞到至少有一个通道在你注册的事件上就绪了。

select(long timeout)和select()一样,除了最长会阻塞timeout毫秒(参数)。

selectNow()不会阻塞,不管什么通道就绪都立刻返回(译者注:此方法执行非阻塞的选择操作。如果自从前一次选择操作后,没有通道变成可选择的,则此方法直接返回零。)。

select()方法返回的int值表示有多少通道已经就绪。亦即,自上次调用select()方法后有多少通道变成就绪状态。如果调用select()方法,因为有一个通道变成就绪状态,返回了1,若再次调用select()方法,如果另一个通道就绪了,它会再次返回1。如果对第一个就绪的channel没有做任何操作,现在就有两个就绪的通道,但在每次select()方法调用之间,只有一个通道就绪了。

selectedKeys()

一旦调用了select()方法,并且返回值表明有一个或更多个通道就绪了,然后可以通过调用selector的selectedKeys()方法,访问“已选择键集(selected key set)”中的就绪通道。如下所示:

Set selectedKeys = selector.selectedKeys();

当像Selector注册Channel时,Channel.register()方法会返回一个SelectionKey 对象。这个对象代表了注册到该Selector的通道。可以通过SelectionKey的selectedKeySet()方法访问这些对象。

可以遍历这个已选择的键集合来访问就绪的通道。如下:

    Set selectedKeys = selector.selectedKeys();
    Iterator keyIterator = selectedKeys.iterator();
    while(keyIterator.hasNext()) {
        SelectionKey key = keyIterator.next();
        if(key.isAcceptable()) {
            // a connection was accepted by a ServerSocketChannel.
        } else if (key.isConnectable()) {
            // a connection was established with a remote server.
        } else if (key.isReadable()) {
            // a channel is ready for reading
        } else if (key.isWritable()) {
            // a channel is ready for writing
        }
        keyIterator.remove();
    }

这个循环遍历已选择键集中的每个键,并检测各个键所对应的通道的就绪事件。

注意每次迭代末尾的keyIterator.remove()调用。Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。下次该通道变成就绪时,Selector会再次将其放入已选择键集中。

SelectionKey.channel()方法返回的通道需要转型成你要处理的类型,如ServerSocketChannel或SocketChannel等。

wakeUp() 某个线程调用select()方法后阻塞了,即使没有通道已经就绪,也有办法让其从select()方法返回。只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法即可。阻塞在select()方法上的线程会立马返回。

如果有其它线程调用了wakeup()方法,但当前没有线程阻塞在select()方法上,下个调用select()方法的线程会立即“醒来(wake up)”。

一个简单的cs实现

首先,搭建一个服务器,负责向接收客户端请求,返回数据。

@Test
public void test_server() throws IOException, InterruptedException {
    Selector selector = Selector.open();

    ServerSocketChannel channel = ServerSocketChannel.open();
    //指定服务端启动的端口
    channel.socket().bind(new InetSocketAddress(9999));
    channel.configureBlocking(false);//非阻塞i
    channel.register(selector,SelectionKey.OP_ACCEPT);

    while (true){
        int select = selector.select();
        if (select==0) continue;

        Set<SelectionKey> set = selector.selectedKeys();
        Iterator<SelectionKey> iterator = set.iterator();
        while (iterator.hasNext()){
            SelectionKey key = iterator.next();
            if (key.isAcceptable()){
	            //此时是ServerSocketChannel,直接获取客户端channel
                SocketChannel socketChannel = channel.accept();
                socketChannel.configureBlocking(false);
                //设置客户端的channel 为write
                socketChannel.register(selector,SelectionKey.OP_WRITE);
            } else if (key.isReadable()){

            }else  if (key.isWritable()){
            //接收SocketChannel的write请求,开始给客户端写数据
                SocketChannel selectableChannel = (SocketChannel) key.channel();
                ByteBuffer byteBuffer = ByteBuffer.allocate(32);
                byteBuffer.put("hello world!!!".getBytes());
                byteBuffer.flip();
                selectableChannel.write(byteBuffer);
                selectableChannel.close();
            }else if (key.isConnectable()){

            }
            iterator.remove();
        }
        Thread.sleep(1000);
    }

}

启动服务端。

然后再来搭建一个客户端,读取从服务器传来的数据。

@Test
public void test_client() throws IOException {
    SocketChannel socketChannel = SocketChannel.open();
    socketChannel.connect(new InetSocketAddress(9999));
    ByteBuffer byteBuffer = ByteBuffer.allocate(32);
    socketChannel.read(byteBuffer);
    byteBuffer.flip();
    System.out.println("from server data is :"+new String(byteBuffer.array()));
}

最后运行客户端,就可以看到

from server data is :hello world!!!   

参考

《Java 与 NIO》http://topjava.cn/article/1389525243600703488

jenkov.《Java NIO》:(http://tutorials.jenkov.com/java-nio/index.html

极客时间.《 高性能IO模型:为什么单线程Redis能那么快?》:https://time.geekbang.org/column/article/270474

发表评论

最新评论

    来第一个评论吧!