pyspark 添加 redis 模块，pysparkredis

pyspark 添加 redis 模块，pysparkredis

安装 redis 模块
并把 redis 模块打包

pip install redis
mkdir redis
mv ....../site-packages/redis redis

import shutil
dir_name = "redis"
output_filename = "./redis"
shutil.make_archive(output_filename, 'zip', dir_name)

redis.zip 文件夹结构为, 必须有以 redis 文件夹为根文件夹

redis/
redis/lock.pyc
redis/connection.py
redis/exceptions.py
redis/utils.pyc
redis/_compat.pyc
redis/_compat.py
redis/connection.pyc
redis/__init__.py
redis/client.py
redis/utils.py
redis/client.pyc
redis/sentinel.py
redis/sentinel.pyc
redis/lock.py
redis/__init__.pyc
redis/exceptions.pyc

以下是错误的

lock.pyc
connection.py
exceptions.py
utils.pyc
_compat.pyc
_compat.py
connection.pyc
__init__.py
client.py
utils.py
client.pyc
sentinel.py
sentinel.pyc
lock.py
__init__.pyc
exceptions.pyc

spark.sparkContext.addPyFile("redis.zip")
import redis

这样子就把 redis 模块加载到 spark 各个节点了

或者

./bin/spark-submit --py-files wesam.zip mycode.py