[問題] pandas dataframe 轉 spark dataframe 出現null值
from pyspark import SparkContext
from pyspark.sql import SQLContext
.
.
.
sc = SparkContext()
sqlContext = SQLContext(sc)
.
.
.
people1 = sqlContext.createDataFrame(people1)
.
.
.
其中people是pandas的dataframe
https://imgur.com/a/ebzMO7Z
圖中左邊是spark的dataframe,右邊是pandas的dataframe
可以看到黃色圓圈處,明明pandas的有東西,轉過去spark就不見了
有人遇過這種狀況嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.124.93.34
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1531569194.A.D4B.html
※ 編輯: zeus83157 (140.124.93.34), 07/14/2018 19:54:46