pyflink 引用第三库的文件出现安装权限的问题

Mon, 14 Dec 2020 22:16:03 -0800 

请教一下大家，在本地直接python demo.py是可以运行的，但是提交到集群就会报错

flink 版本：1.11 flink on yarn集群模式部署， per-job模式提交，三台机器




提交命令：flink run -m yarn-cluster -ynm demo  -ys 2 -ytm 2048 -p 2 -py demo.py




代码截图地址：https://s3.ax1x.com/2020/12/15/rKIwE6.png




报错截图地址：https://s3.ax1x.com/2020/12/15/rKIlNT.png




requestments.txt:    IPy==1.0        cache_dir:  IPy-1.00.tar.gz




自定义udf代码：

@udf(input_types=[DataTypes.STRING()], result_type=DataTypes.STRING())

def judge_ip(ip):

        import IPy

        if ip in IPy.IP('192.168.112.0/28'):

            return 'in'

        return 'out'







祝好~

回复