[問題] pyspark安裝

看板Python作者 (Uncle Dan)時間8年前 (2017/03/31 13:50), 8年前編輯推噓0(004)
留言4則, 1人參與, 最新討論串1/1
對於python 對於spark我都是新手 請多多見諒 最近想要開始學習spark 用python寫 照著網路上的操作 想說只是簡單的幾個步驟 但遇上了一個嚴重的問題 安裝結果: http://imgur.com/a/TgCGz 看別人安裝好都會有這一行 SparkContext available as sc. 可是我沒有這部分 導致於我在跑範例程式碼的時候 都會跑出 cannot import name SparkContext 請問 是我安裝的部分沒搞好嗎? 還是 我需要去哪裡改哪個東西呢? 謝謝你/妳 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.181.206.76 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1490939425.A.E4E.html

03/31 18:39, , 1F
from pyspark import SparkContext 會跑出什麼
03/31 18:39, 1F
會跑出ImportError: cannot import name 'SparkContext' 如果from pyspark import SparkConf 就是跑出 cannot import name 'SparkConf' 確認一下 跑程式碼 是用terminal打./bin/spark-submit xxx.py 對嗎? 補充一下 python version:3.5.2 spark version:2.1.0 謝謝 ※ 編輯: dream3531 (68.181.88.116), 03/31/2017 22:36:51

04/01 12:00, , 2F
你貼的shell看起來很正常呀,所以在shell直接import沒
04/01 12:00, 2F

04/01 12:00, , 3F
問題嗎
04/01 12:00, 3F
請問在shell直接import的意思是? 正在學 一直發問 哈哈哈 ※ 編輯: dream3531 (68.181.88.116), 04/01/2017 13:26:55

04/01 13:36, , 4F
就是用pyspark 一行一行輸入 不是用spark-submit
04/01 13:36, 4F
可以耶! 不過用shell 要怎麼直接跑一個project呢? ※ 編輯: dream3531 (68.181.88.116), 04/02/2017 00:48:38
文章代碼(AID): #1OtUuXvE (Python)
文章代碼(AID): #1OtUuXvE (Python)