博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
如何在MAP/REDUCE中不检查输出路径?
阅读量:6070 次
发布时间:2019-06-20

本文共 550 字,大约阅读时间需要 1 分钟。

前言

如果在REDUCE中并没有涉及到生成HDFS文件,比如只是将一些数据写入REDIS,那么每次都要提供一个不存在的OUTPUT,真是挺麻烦的,有没有机制可以让MAP/REDUCE作业不要检查输出路径?

检查输出路径的机制

经常,我们的输出格式是这样的:

job.setOutputFormatClass(TextOutputFormat.class);

跟踪下TextOutputFormat,扫描下其中的方法,发现没有检查输出路径的方法。

向上检查TextOutputFormat的父类FileOutputFormat其中的方法,发现如下:

可以发现我们熟悉的提示文字“Output directory XXX already exists”

那么如果我们提供一个类MyTextOutputFormat extends TextOutFormat 并覆盖这个方法,就可以达到不用检查输出路径了:

然后,设置下:

job.setOutputFormatClass(MyTextOutputFormat.class);即可。

本文转自zfz_linux_boy 51CTO博客,原文链接:http://blog.51cto.com/zhangfengzhe/1673024,如需转载请自行联系原作者

你可能感兴趣的文章
LeetCode 总结
查看>>
在Linux 中安装不了程序?教你一招解决!
查看>>
取得汉字拼音首字母的绝妙方法
查看>>
不再以讹传讹 剖析720P 1080i和1080P
查看>>
asp.net服务器控件button先执行js再执行后台的方法
查看>>
Eclipse上GIT插件EGIT使用手册
查看>>
用五分钟重温委托,匿名方法,Lambda,泛型委托,表达式树
查看>>
[转]delphi 有授权许可的字符串拷贝函数源码
查看>>
C#正则表达式提取HTML中IMG标签的SRC地址
查看>>
DockPanel的使用
查看>>
HDU 4118 Holiday's Accommodation (树形DP 哎,头脑不清晰,没看懂。。。。)
查看>>
HDU 4638 Group (线段树 | 树状数组 + 离线处理)
查看>>
最佳的线程联网类
查看>>
JQuery 给基本控件的取值,赋值
查看>>
CVPapers论文整理工具-开源
查看>>
使用字符串时要注意...
查看>>
总结出来的一些ASP.NET程序性能优化的注意事项[不断补充]
查看>>
对象合成复用之策略模式
查看>>
步步为营 .NET 设计模式学习笔记 八、State(状态模式)
查看>>
MEF(Managed Extensibility Framework)有选择性地使用扩展组件
查看>>