大数据培训FileInputFormat实现类
创始人
2024-03-03 21:58:25
0

FileInputFormat实现类

思考:在运行MapReduce程序时,输入的文件格式包括:基于行的日志文件、
二进制格式文件、数据库表等。那么,针对不同的数据类型,MapReduce是如
何读取这些劣如据的呢?
FileInputFormat常见的接口实现类包括:TextInputFormat .
KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义
InputFormat等。

1.TextlnputFormat
TextInputFormat是默认的FileInputFormat实现类。按行读取每条记录。键是存储该行在整个文件中的
起始字节偏移量,LongWritable类型。值是这行的内容,不包括任何行终止符(换行符和回车符),
Text类型。

2.KeyValueTextlnputFormat
每一行均为一条记录,被分隔符分割为key , value。可以通过在驱动类中设置
conf.st(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR,”t”);,来设定分隔符。默认分隔符是tab (t)。
以下是一个示例,输入是一个包含4条记录的分片。其中——>表示一个(水平方向的)利表符。

3.NLinelnputFormat
如果使用NlineInputFormat,代表每个map进程处理的InputSplit不再按Block块去划分,而是按
NlineInputFormat指定的行数N来划分。即输入文件的总行数/N切片数,如果不整除,切片数=商+1。
以下是一个示例,仍然以上面的4行输入为例。

相关内容

热门资讯

美国2年期国债收益率上涨15个... 原标题:美国2年期国债收益率上涨15个基点 美国2年期国债收益率上涨15个基...
汽车油箱结构是什么(汽车油箱结... 本篇文章极速百科给大家谈谈汽车油箱结构是什么,以及汽车油箱结构原理图解对应的知识点,希望对各位有所帮...
嵌入式 ADC使用手册完整版 ... 嵌入式 ADC使用手册完整版 (188977万字)💜&#...
重大消息战皇大厅开挂是真的吗... 您好:战皇大厅这款游戏可以开挂,确实是有挂的,需要了解加客服微信【8435338】很多玩家在这款游戏...
盘点十款牵手跑胡子为什么一直... 您好:牵手跑胡子这款游戏可以开挂,确实是有挂的,需要了解加客服微信【8435338】很多玩家在这款游...
senator香烟多少一盒(s... 今天给各位分享senator香烟多少一盒的知识,其中也会对sevebstars香烟进行解释,如果能碰...
终于懂了新荣耀斗牛真的有挂吗... 您好:新荣耀斗牛这款游戏可以开挂,确实是有挂的,需要了解加客服微信8435338】很多玩家在这款游戏...
盘点十款明星麻将到底有没有挂... 您好:明星麻将这款游戏可以开挂,确实是有挂的,需要了解加客服微信【5848499】很多玩家在这款游戏...
总结文章“新道游棋牌有透视挂吗... 您好:新道游棋牌这款游戏可以开挂,确实是有挂的,需要了解加客服微信【7682267】很多玩家在这款游...
终于懂了手机麻将到底有没有挂... 您好:手机麻将这款游戏可以开挂,确实是有挂的,需要了解加客服微信【8435338】很多玩家在这款游戏...