1、系统处理缓存的方式
(1)传统方式:先将数据全部读入缓存(内存),然后再进行处理。
优点:符合人的思维方式,流程比较流程
缺点:对于数据量很大的文件,处理效率低下
(2)数据流方式:读一块,处理一块。将待处理的数据分隔成一块一块的,像流水一样,每当有新的数据块进入内存时,它会触发一个事件,程序就从内存中获取新数据进行处理。
优点:程序处理数据的效率高
2、node中的数据流
(1)Readable --- 用于读操作的数据流
(2)Writable --- 用于写操作的数据流
(3)Duplex:可以用于读取和写入操作
(4)Transform:输出基于输入的地方进行计算的一种双相流
3、node中使用数据流时触发的事件:每个数据都有一个EventEmitter实例,该实例的作用是触发事件。
(1)data:当有数据可读取时触发。data是事件名
(2)end:当流中没有数据时被触发。end是事件名
(3)error:当有任何错误触发。error是事件名
(4)finish:当所有数据已刷新到底层系统时触发。finish是事件名
4、从流中读取数据:fs模块的createReadStream方法的作用是创建一个读取数据的数据流
fs.createReadStream(文件全名)
const fs = require('fs')
let str = '' //用来存储从流中读取的数据
//1.创建数据流
let readStream = fs.createReadStream('input.txt')
//2.设置数据流的字符集
readStream.setEncoding('utf8')
//3.注册data事件:若该事件被触发,说明数据流中已经有数据,数据就会读到回调函数的val中,再将val保存到str中
readStream.on('data',function(val){
str += val
})
//4.注册end事件:该事件被触发,说明流中没有数据可读了,表示读取数据结束
readStream.on('end',function(){
console.log(str);
})
//5.注册error事件:若该事件被触发,说明读取过程中出现错误,输出错误信息栈中的信息
readStream.on('error',function(err){
console.log(err.stack)
})
console.log('程序结束');
5、向流中写入数据:fs模块的createWriteStream方法,就可以创建一个写数据的数据流
fs.createWriteStream(文件名)
6、管道流:用于从一个流中获取数据,并通过该流输出到另一个流。
const fs = require('fs')
//1.创建一个输入流:用于读取数据
let readStream = fs.createReadStream('../input.txt')
//2.创建一个输出流:用于写数据
let writeStream = fs.createWriteStream('./output.txt')
//3.通过输入流调用方法:将数据送入输出流中
readStream.pipe(writeStream)
console.log('主程序结束!')
7、链式流:链式是一个机制,一个流的输出连接到另一个流,并创建一个链多流操作
(1)压缩文件
const fs = require('fs')
const zlib = require('zlib') //用于压缩与解压缩的模块
fs.createReadStream('input.txt')
.pipe(zlib.createGzip()) //zlib.createGzip():创建压缩包
.pipe(fs.createWriteStream('input.zip')) //生成一个.zip的压缩文件
(2)解压缩
const fs = require('fs')
const zlib = require('zlib')
fs.createReadStream('./input.zip')
.pipe(zlib.createGunzip()) //zlib.createGunzip():创建一个解压缩的对象。通过管道连接到解压缩对象
.pipe(fs.createWriteStream('../gun.txt')) //通过管道连接输出流