示例：

main中：

    Configuration conf = new Configuration();

    Text maxscore = new Text("12989");

    DefaultStringifier.store(conf, maxscore ,"maxscore");

這樣，Text對象maxscore就以“maxscore”作為key存儲在conf對象中了，然后在map和reduce函數(shù)中調(diào)用load的方法便可以把對象讀出。

mapper獲取:

    Configuration conf = context.getConfiguration()

    Text out = DefaultStringifier.load(conf, "maxscore", Text.class);

   需要說明的是，這個(gè)需要傳遞的對象必須要先實(shí)現(xiàn)序列化的接口，Hadoop的序列化是通過Writable接口來實(shí)現(xiàn)的。

(2) 參考自：http://blog.sina.com.cn/s/blog_6b7cf18f0100x9jg.html

2.  編寫 Streaming 程序時(shí)，如何向map、reduce函數(shù)傳遞參數(shù)

可以通過 streaming 的 cmdenv 選項(xiàng)設(shè)置環(huán)境變量，然后在 map 和 reduce 腳本中獲取環(huán)境變量。

可參考 << hadoop streaming 高級編程 >>

http:///mapreduce/hadoop-streaming-advanced-programming/

(0) 作業(yè)提交腳本:

#!/usr/bin/env bash

max_read_count=${array[0]}

min_read_count=${array[1]}

max_write_count=${array[2]}

min_write_count=${array[3]}

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-0.20.2-streaming.jar \

  -D mapred.reduce.tasks=1   

  -input $input \

  -output $output  \

  -mapper $mapper_script \

  -file $map_file  \

  -reducer $reducer_script \

  -file $reduce_file \

  -cmdenv "max_read_count=${array[0]}" \      # 設(shè)置環(huán)境變量   max_read_count .   

  -cmdenv "min_read_count=${array[1]}" \       # 多個(gè)變量時(shí)請多次使用 -cmdenv   

  -cmdenv "max_write_count=${array[2]}" \

  -cmdenv "min_write_count=${array[3]}"  

(1) Python mapper.py

#!/usr/bin/env python

import sys

import os

min_r_count = float(os.environ.get('min_read_count')) # get environment variables.

max_r_count = float(os.environ.get('max_read_count'))

min_w_count = float(os.environ.get('min_write_count'))

max_w_count = float(os.environ.get('max_write_count'))

(1) streaming 加載本地單個(gè)文件

streaming 支持 -file 選項(xiàng), 可以把 -file 后面的本地文件(注意是本地文件)打包成作業(yè)提交的一部分, 即打包到作業(yè)的jar文件當(dāng)中, 這樣在mapreduce腳本中就可以像訪問本地文件一樣訪問打包的文件了.

實(shí)例:

作業(yè)提交文件 run.sh

mapper.py

注意：在提交作業(yè)時(shí)使用的是 -file logs/wbscoretest.log 指定需要加載的文件. 在 map 腳本中只需要直接讀取文件 wbscoretest.log 即可, 不需要寫 logs/wbscoretest.log, 因?yàn)橹患虞d了文件 wbscoretest.log, 而不會加載 logs 目錄和 

wbscoretest.log 文件.

(2) streaming 加載本地多個(gè)文件 

(3) streaming 加載本地目錄 ( 若加載多個(gè)目錄，用逗號隔開，-files dir1, dir2, dir3 )

使用streaming的 -file 選項(xiàng)不能加載本地目錄, 我實(shí)驗(yàn)是如此.

我們可以使用 hadoop 的通用選項(xiàng) -files 來加載本地目錄, 加載成功后在mapreduce腳本中可以像訪問本地目錄一樣訪問加載的目錄.

實(shí)際應(yīng)用中，我們在編寫 分詞MapReduce作業(yè)時(shí)需要加載分詞詞典，就使用該方法.

作業(yè)提交腳本:  

map 腳本: 讀取目錄下的文件.

加載多個(gè)目錄：

注意：多個(gè)目錄之間用逗號隔開，且不能有空格，否則會出錯(cuò)，這個(gè)限制太蛋疼了。

例如：

(4) streaming編程時(shí)在mapreduce腳本中讀 hdfs 文件

使用 -files 選項(xiàng), 后面跟需要讀的 hdfs 文件路徑. 這樣在 mapreduce 腳本中就可以直接通過文件名來訪問該文件.

作業(yè)提交腳本:

map腳本: 

如果需要加載大文件, 我們可以將文件先上傳到 hdfs 中, 然后在 mapreduce 腳本中讀取 hdfs 文件.

(5) streaming編程時(shí)在mapreduce腳本中讀 hdfs 目錄

使用 -files 選項(xiàng), 后面跟需要讀的 hdfs 目錄. 這樣在 mapreduce 腳本中就可以像訪問本地目錄一樣訪問該目錄.

作業(yè)提交腳本:

map腳本:  直接讀取 tmp_kentzhan 目錄.