David Teplow, Integra Technology Consul9ng 11/20/12 - PowerPoint PPT Presentation

David ¡Teplow, ¡Integra ¡Technology ¡Consul9ng ¡ 11/20/12 ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

package org.myorg; public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { import java.io.IOException; public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, import java.util.*; IntWritable> output, Reporter reporter) throws IOException { int sum = 0; import org.apache.hadoop.fs.Path; while (values.hasNext()) { import org.apache.hadoop.conf.*; sum += values.next().get(); import org.apache.hadoop.io.*; } import org.apache.hadoop.mapred.*; output.collect(key, new IntWritable(sum)); import org.apache.hadoop.util.*; } } public class WordCount { public static void main(String[] args) throws Exception { public static class Map extends MapReduceBase implements JobConf conf = new JobConf(WordCount.class); Mapper<LongWritable, Text, Text, IntWritable> { conf.setJobName("wordcount"); private final static IntWritable one = new IntWritable(1); private Text word = new Text(); conf.setOutputKeyClass(Text.class); conf.setOutputValueClass(IntWritable.class); public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { conf.setMapperClass(Map.class); String line = value.toString(); conf.setCombinerClass(Reduce.class); StringTokenizer tokenizer = new StringTokenizer(line); conf.setReducerClass(Reduce.class); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); conf.setInputFormat(TextInputFormat.class); output.collect(word, one); conf.setOutputFormat(TextOutputFormat.class); } } FileInputFormat.setInputPaths(conf, new Path(args[0])); } FileOutputFormat.setOutputPath(conf, new Path(args[1])); JobClient.runJob(conf); } } 11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡

11/20/12 ¡-­‑ ¡ The ¡Database ¡Emperor ¡Has ¡No ¡Clothes ¡