Re: [分享] sparklyr
※ 引述《celestialgod (天)》之銘言：
: [關鍵字]: sparklyr
: [出處]: http://spark.rstudio.com/index.html
: [重點摘要]:
: 煩請移駕到我的部落格觀看：http://goo.gl/SSor3y
: 最近花了點時間研究Spark
: 終於研究到了一個段落
: 回來研究一下自己最愛的R
: 而且又看到rstudio釋出了sparklyr就手癢想說試試看了
: 於是就有這篇心得了XD
: 只是我還沒去測試machine learning相關的東西
: 就留給其他人慢慢賞玩了
感謝celestialgod大大 無私分享這個關於spark的套件
小弟目前著手研究這個套件,並搭配出處原文參考
但是在安裝的時候發現了一些問題
例如說是
Error:
To run Spark on Windows you need a copy of Hadoop winutils.exe:
1. Download Hadoop winutils.exe from:
2. Copy winutils.exe to
C:\Users\XXXXXX
這個問題網路上問的人蠻多的,只要將winutils放入指定路徑即可
但是衍生成別的問題 就找不到解法,想請教大大
問題如下:
> library(sparklyr)
> sc <- spark_connect(master = "local")
Error in start_shell(master = master, spark_home = spark_home, spark_version
= version, :
Failed to launch Spark shell. Ports file does not exist.
Path: C:\spark-2.0.0-bin-hadoop2.7\bin\spark-submit.cmd
Parameters: --class, sparklyr.Backend, --packages,
"com.databricks:spark-csv_2.11:1.3.0","com.amazonaws:aws-java-sdk-pom:1.10.34",
"C:\spark-2.0.0-bin-hadoop2.7\R\lib\sparklyr\java\sparklyr-2.0-2.11.jar",
C:\Users\John\AppData\Local\Temp\RtmpKyXbqK\file16b076c13dc6.out
檔案名稱、目錄名稱或磁碟區標籤語法錯誤。
感覺是spark檔案中的一些資料放錯了位置,可是研究了好久還是找不到答案
還請各位大大相助
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.86.113
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1479999594.A.11A.html
→
11/24 23:04, , 1F
11/24 23:04, 1F
→
11/24 23:11, , 2F
11/24 23:11, 2F
→
11/24 23:11, , 3F
11/24 23:11, 3F
→
11/24 23:11, , 4F
11/24 23:11, 4F
→
11/24 23:11, , 5F
11/24 23:11, 5F
→
11/24 23:12, , 6F
11/24 23:12, 6F
→
11/24 23:12, , 7F
11/24 23:12, 7F
→
11/24 23:13, , 8F
11/24 23:13, 8F
→
11/24 23:13, , 9F
11/24 23:13, 9F
→
11/24 23:14, , 10F
11/24 23:14, 10F
→
11/24 23:14, , 11F
11/24 23:14, 11F
→
11/24 23:14, , 12F
11/24 23:14, 12F
→
11/24 23:14, , 13F
11/24 23:14, 13F
→
11/25 02:18, , 14F
11/25 02:18, 14F
→
11/25 02:19, , 15F
11/25 02:19, 15F
→
11/25 04:01, , 16F
11/25 04:01, 16F
→
11/26 15:14, , 17F
11/26 15:14, 17F
討論串 (同標題文章)