本文共 550 字,大约阅读时间需要 1 分钟。
前言
如果在REDUCE中并没有涉及到生成HDFS文件,比如只是将一些数据写入REDIS,那么每次都要提供一个不存在的OUTPUT,真是挺麻烦的,有没有机制可以让MAP/REDUCE作业不要检查输出路径?
检查输出路径的机制
经常,我们的输出格式是这样的: job.setOutputFormatClass(TextOutputFormat.class); 跟踪下TextOutputFormat,扫描下其中的方法,发现没有检查输出路径的方法。 向上检查TextOutputFormat的父类FileOutputFormat其中的方法,发现如下: 可以发现我们熟悉的提示文字“Output directory XXX already exists” 那么如果我们提供一个类MyTextOutputFormat extends TextOutFormat 并覆盖这个方法,就可以达到不用检查输出路径了: 然后,设置下: job.setOutputFormatClass(MyTextOutputFormat.class);即可。 |
本文转自zfz_linux_boy 51CTO博客,原文链接:http://blog.51cto.com/zhangfengzhe/1673024,如需转载请自行联系原作者