Re: python udf 提交到本地节点执行报错

2021-01-25 文章 Xingbo Huang
Hi, 看报错是你的客户端环境所使用的的`python`解释器没有安装pyflink。-pyexec指定的是你udf运行的worker所使用的python环境,但是你在客户端编译作业的时候也需要python环境,那个python环境也需要安装pyflink。 Best, Xingbo 陈康 <844256...@qq.com> 于2021年1月25日周一 下午9:01写道: > 你好、请教下配置pyflink、本地运行报错 > [root@hadoop01 ~]# pip list | grep flink > apache-flink (1.12.0) > >

Re: python udf 提交到本地节点执行报错

2021-01-25 文章 陈康
你好、请教下配置pyflink、本地运行报错 [root@hadoop01 ~]# pip list | grep flink apache-flink (1.12.0) [root@hadoop01 ~]# python3 -V Python 3.6.5 flink run -m localhost:8081 -py datastream_tutorial.py -pyexec /usr/local/python3/bin/python3 File "datastream_tutorial.py", line 1, in from

Re: python udf 提交到本地节点执行报错

2020-09-17 文章 myfjdthink
感谢搞定了,根据你提供的文档,我把命令改为 flink run -py src/etl/hello_world.py -pyexec /usr/local/opt/python@3.7/bin/python3 指定了 python 执行器就行了 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: python udf 提交到本地节点执行报错

2020-09-17 文章 Xingbo Huang
Hi, 你可以参考文档[1],里面的api set_python_executable(python_exec)用来设置你的Python环境的,然后你需要确保你这个python环境有安装pyflink。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/python/table-api-users-guide/dependency_management.html#python-dependency Best, Xingbo myfjdthink 于2020年9月17日周四 下午3:13写道:

Re: python udf 提交到本地节点执行报错

2020-09-17 文章 myfjdthink
你好,我的本地集群是单点的,直接使用文档里的 bin/start-cluster.sh 命令启动的。 我扫了一遍文档,没找到介绍如何配置集群里的 pylink 相关的信息,可以麻烦你告诉我相关文档在哪里吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: python udf 提交到本地节点执行报错

2020-09-17 文章 Xingbo Huang
Hi, 你可以看到报错信息里面有这么一条: ImportError: No module named pyflink 看起来是你的集群环境使用的python环境没有安装pyflink Best, Xingbo myfjdthink 于2020年9月17日周四 下午2:50写道: > 操作系统 > > Mac OS > > flink --version > > Version: 1.11.1, Commit ID: 7eb514a > > > 代码 > > from pyflink.table import StreamTableEnvironment,

python udf 提交到本地节点执行报错

2020-09-17 文章 myfjdthink
操作系统 Mac OS flink --version Version: 1.11.1, Commit ID: 7eb514a 代码 from pyflink.table import StreamTableEnvironment, EnvironmentSettings, DataTypes from pyflink.table.udf import udf # 1. create a TableEnvironment env_settings =