私の質問はLinuxの問題に関連しているので、ここに投稿することにしました。 Jupiter Notebookを実行しようとしています。
from pyspark.sql import SparkSession
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-13-61fbc0d156c2> in <module>
----> 1 from pyspark.sql import SparkSession
ModuleNotFoundError: No module named 'pyspark'
Jupyterでは、シェル環境とPython実行可能ファイルの関連付けが失われました。
!echo $PATH
/snap/jupyter/6/bin:/snap/jupyter/6/usr/sbin:/snap/jupyter/6/usr/bin:/snap/jupyter/6/sbin:/snap/jupyter/6/bin:/home/mm/snap/jupyter/common/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
そして
sys.path['/home/mm',
'/snap/jupyter/6/lib/python37.zip',
'/snap/jupyter/6/lib/python3.7',
'/snap/jupyter/6/lib/python3.7/lib-dynload',
'',
'/snap/jupyter/6/lib/python3.7/site-packages',
'/snap/jupyter/6/lib/python3.7/site-packages/IPython/extensions',
'/home/mm/snap/jupyter/6/.ipython']
パッケージを一覧表示すると
!pip list
Package Version
------- -------
py4j 0.10.9
pyspark 3.0.0
私のシェル環境は何ですか?
ベストアンサー1
使用しているシェルを取得するには、次の手順を実行します。
基本シェル:
echo $SHELL
現在のシェルは、基本シェルと同じであってもなくてもよい。
echo $0
現在のシェルを取得する2つの異なる方法:
ps -p $$
printf "%s\n" $0
すべての環境変数を見つけるには、次の2つのコマンドのいずれかを使用します。
env
printenv
Jupyter Notebookを使用するときに発生する問題は、Pythonの環境設定方法によって発生する可能性があります。あなたはそれを使用することができます:
env | grep -i python
printenv | grep -i python