傑瑞窩在這

程式開發的心得與筆記

Category: Hadoop

建立一個Hadooop web service

架設好Hadoop環境後,試著建立自己的Hadoop web service,類似Amazon的mapreduce服務,只不過這是非常簡單的陽春版。讓使用者能夠通過web的介面,上傳wordcount的python程式,執行後直接在網頁上看到結果。以下僅列出overview,詳細的實作可以參考source code,參考即可XD小弟這部分沒有寫得很好。

繼續閱讀

[Hadoop] 利用map-reduce分析apache2 web server access log

上篇文章中,練習了範例程式wordcount的使用,以及學習如何操作hdfs。接下來這個例子,增加了一點變化,要來分析apache2 web server的log記錄檔,計算每小時的存取次數。

以下使用python,如果想要使用java,可以參考這篇文章

繼續閱讀

[Hadoop] wordcount example

根據hadoop版本的不同,指令也會有所不同,建議在執行範例時,先確認所使用的指令是否符合規範。

這裏我安裝的是2.6.0版hadoop,執行官網提供的wordcount v1.0 example。

詳情可看MapReduce Tutorial

繼續閱讀

[教學] 如何在Ubuntu 14.04上安裝Hadoop 2.6.0

架設hadoop對於新手來說,常會遇到很多莫名其妙的問題。這些問題,不外乎是版本不同、環境不同,或是對linux指令不熟。傑瑞也是過來人,當初在架設時遇到一些困難,所以想把架設的經驗寫下來,或許對大家有幫助。本文的內容會教大家如何在Ubuntu上佈署雙節點hadoop,並列出一些注意事項供參考。


繼續閱讀

© 2016 傑瑞窩在這

Theme by Anders NorenUp ↑