[請益] 如何知道Hadoop 在執行什麼

看板Soft_Job作者 (高那古勒斯)時間8年前 (2017/04/13 11:04), 編輯推噓2(2推 0噓 26→)
留言28則, 6人參與, 最新討論串1/1
大家好 小弟剛進到一家陸資公司 使用Hadoop還做遊戲的數據分析, 使用的版本是2013年的版本 0.20.2版 那邊同事已經走了幾輪了, 所以沒有交接 (據說上海習慣跳槽來加薪, 每次30%) 所以基本上Server屬於沒有維護的狀態 在Amazon有三台Hadoop Server一台做NameNode兩台做DataNode 目前想要把關掉兩個DataNode全部都給Master那台做 理論上應該是修改config的slaves加上Master這台 不過不知道怎麼關掉再重啟 >''< 現在有Server權限,不過我要怎麼知道目前在運行什麼呢? 使用history已經看不到當初執行過什麼 Server上也沒有運行apache, 可以看歷史 不知道小弟要從何著手>''< 使用jps看 $ jps 6130 RunJar 5314 JobTracker 4580 SecondaryNameNode 5493 QuorumPeerMain 5635 HMaster 4321 NameNode 879 Jps 使用ps 去看執行參數也看不出所以然 使用下面指令看, QQ 怎麼會沒有job在運行 $ hadoop job -list 0 jobs currently running 從$HADOOP_HOME 目錄看起來logs還是有在update >''< $ls -lt hadoop hadoop 4096 Apr 13 02:59 conf hadoop hadoop 274432 Apr 13 00:56 logs hadoop hadoop 4096 Apr 10 04:51 ivy hadoop hadoop 4096 Apr 5 02:41 bin hadoop hadoop 4096 Jul 24 2013 pids hadoop hadoop 4096 Jul 24 2013 lib hadoop hadoop 21107 Jul 9 2013 zookeeper.out hadoop hadoop 4096 Jun 27 2013 src hadoop hadoop 4096 Jun 27 2013 docs hadoop hadoop 4096 Jun 27 2013 cloudera hadoop hadoop 100359 Mar 20 2013 build.xml hadoop hadoop 4096 Mar 20 2013 c++ hadoop hadoop 348776 Mar 20 2013 CHANGES.txt hadoop hadoop 7456 Mar 20 2013 cloudera-pom.xml hadoop hadoop 4096 Mar 20 2013 contrib hadoop hadoop 4096 Mar 20 2013 example-confs hadoop hadoop 6842 Mar 20 2013 hadoop-ant-0.20.2-cdh3u6.jar hadoop hadoop 3871691 Mar 20 2013 hadoop-core-0.20.2-cdh3u6.jar hadoop hadoop 142821 Mar 20 2013 hadoop-examples-0.20.2-cdh3u6.jar hadoop hadoop 2799061 Mar 20 2013 hadoop-test-0.20.2-cdh3u6.jar hadoop hadoop 175835 Mar 20 2013 hadoop-tools-0.20.2-cdh3u6.jar hadoop hadoop 10440 Mar 20 2013 ivy.xml hadoop hadoop 13366 Mar 20 2013 LICENSE.txt hadoop hadoop 101 Mar 20 2013 NOTICE.txt hadoop hadoop 1366 Mar 20 2013 README.txt hadoop hadoop 4096 Mar 20 2013 webapps hadoop hadoop 4096 Mar 20 2013 sbin 請問有沒有前輩可以稍微指導一下, 該從應該哪裡著手看起 感謝<(_ _)> -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 202.175.105.50 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1492052685.A.378.html
→
04/13 11:27, , 1F
試著用 retired 跟 hadoop 查了一下，這可能有用
04/13 11:27, 1F
→
04/13 11:27, , 2F
http://bit.ly/2nGMvdr 。如果沒用你再用這裡的 keyword
04/13 11:27, 2F
→
04/13 11:28, , 3F
查一下舊文件吧。那麼早的版本........（抖
04/13 11:28, 3F
→
04/13 11:28, , 4F
或是試著去 hadoop 社群請個 tutor 或顧問吧。別自己亂搞啊
04/13 11:28, 4F
→
04/13 11:30, , 5F
http://bit.ly/2nGDxNe <== Hadoop 台灣的社群 FB
04/13 11:30, 5F
推
04/13 14:42, , 6F
如果有透過jobtacker跑MR可以去50030port看看有沒有紀錄
04/13 14:42, 6F
→
04/13 14:43, , 7F
但如果單純操作HDFS沒有透過管理的原建立如MRv1或YARN可
04/13 14:43, 7F
→
04/13 14:43, , 8F
能就比較不好找，看了一下檔案應該是跑Cloudera?可以
04/13 14:43, 8F
→
04/13 14:44, , 9F
進Cloudera manager看最方便(如果有安裝的話...)
04/13 14:44, 9F
→
04/13 14:46, , 10F
預設Cloudera manager port是7180
04/13 14:46, 10F
→
04/13 14:47, , 11F
然後看起來還有起HBase，原PO有很多東西可以玩了～～
04/13 14:47, 11F
→
04/14 11:30, , 12F
看起來是挺基本的hadoop,你先自己架一次
04/14 11:30, 12F
→
04/14 11:32, , 13F
就知道hadoop怎麼玩了,那時期很紅,文章應該都還在
04/14 11:32, 13F
推
04/15 22:55, , 14F
一般不是都看 http://master:8088 去看哪些MR程式在執行嗎
04/15 22:55, 14F
→
04/15 22:55, , 15F
http://master:50070 看HDFS data nodes狀態
04/15 22:55, 15F
→
04/15 22:56, , 16F
不過你應該是先查當時版本的文件才對啊,來這問怎麼取消data
04/15 22:56, 16F
→
04/15 22:56, , 17F
nodes的問題，我如果是你主管的話你應該明天就不用來上班了
04/15 22:56, 17F
→
04/16 22:12, , 18F
全給master... 顆顆
04/16 22:12, 18F
→
04/18 09:12, , 19F
@qrttl 謝謝您
04/18 09:12, 19F
→
04/18 09:22, , 20F
@v9290026 謝謝您, 看起來有Jobtracker
04/18 09:22, 20F
→
04/18 09:22, , 21F
@ChungLi5566 恩恩 我自己有建基本的起來玩
04/18 09:22, 21F
→
04/18 09:28, , 22F
@cpper 這版本還沒有引入yarn
04/18 09:28, 22F
→
04/18 09:29, , 23F
@cpper 取消data node我之前有做過實驗是可行的
04/18 09:29, 23F
→
04/18 09:30, , 24F
@cpper 不過因為NameNode這邊設定不是Slave所以
04/18 09:30, 24F
→
04/18 09:31, , 25F
@cpper 所以要給Master做的話應該要重啟才行
04/18 09:31, 25F
→
04/18 09:32, , 26F
@cpper 想說自己撞牆幾天了, 如果不問可能更沒長進>'<
04/18 09:32, 26F
→
04/18 09:32, , 27F
@cpper 謝謝您的建議
04/18 09:32, 27F
→
04/18 09:33, , 28F
@home2618 因為公司遊戲現在沒啥人在玩... 幾隻小貓
04/18 09:33, 28F
‣ 更多 Gonocurrus 的文章
文章代碼(AID): #1OxkhDDu (Soft_Job)