亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費(fèi)注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 1448 | 回復(fù): 0
打印 上一主題 下一主題

看看python寫的map哪里錯(cuò)了? [復(fù)制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1 [收藏(0)] [報(bào)告]
發(fā)表于 2013-03-22 08:03 |只看該作者 |倒序?yàn)g覽
我剛開始學(xué)這個(gè),map和reduce在linux下用管道模擬沒有問題。
map不需要輸入的文件,實(shí)在里面直接打開的,這樣可以么?
幫忙看看我的錯(cuò)誤是map錯(cuò)了還是執(zhí)行的時(shí)候把沒有把需要的文件拷到hdfs的原因。

#!/usr/bin/env python
# usage: "train" or "submit"
import sys
id2indx = {}
tot_num = 0
indx_list = []
#print 'build index for items'      
iprof = open('item.txt')
for line in iprof:
    iid = int(line.split()[0])
    if not iid in id2indx:
        id2indx[iid] = tot_num
        indx_list.append((iid, tot_num))
        print '%s\t%d' % (id2indx[iid],iid)
        tot_num += 1
    #for (k, v) in self.indx_list:
        #print '------- %d -> %d\n' % (k, v)
iprof.close()
#print 'build index for users'
uprof = open('user_profile.txt')
for line in uprof:
    uid = int(line.split()[0])   
    if not uid in id2indx:
        id2indx[uid] = tot_num
        indx_list.append((uid, tot_num))
        tot_num += 1
        print '%s\t%d' % (id2indx[uid],uid)
uprof.close()

每次提交都失敗因?yàn)椴恍枰斎牒洼敵龅奈募,我隨便建了個(gè)空文件hello。
hadoop jar \$HADOOP_HOME/contrib/streaming/hadoop-0.20.2-streaming.jar -mapper ./python/map.py -reducer ./python/reduce.py
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報(bào)專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們:huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP