讓spark可以在ipython notebook上面跑

其實很簡單，就是環境變數設定好就work了

1.首先安裝好需要的程式:

download spark by version (不作描述)
sudo apt-get install ipython
sudo apt-get install ipython-notebook

2. 讓spark可以跑：

export SPARK_HOME=[安裝目錄]
export PATH=$SPARK_HOME/bin:$PATH
並寫到~/.bashrc中

3. 設定pyspark啟動連結：

export PYSPARK_DRIVER_PYTHON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

4. 完成：

此時執行pyspark就會直接連結到ipython notebook