Re: 關於LocalExecutionEnvironment使用MiniCluster的配置

[月月]

非常感謝，我再研究一下!

Jeff Zhang  於 2020年5月24日 週日 下午9:52寫道：

> 在zeppelin也集成了flink的local 模式，可以通过设置 local.number-taskmanager 和
> flink.tm.slot来设置tm和slot的数目，
> 具体可以参考这个视频 https://www.bilibili.com/video/BV1Te411W73b?p=3
>
> tison  于2020年5月24日周日 下午9:46写道：
>
> > 是这样的。
> >
> > 这里的配置可以参考[1][2]两个类，具体你 Maven 启动的代码路径还跟[3][4]有关。
> >
> > 这边可能确实文档比较缺失。可以看下配置传递的路径，TM 的数量还有 RPC 的共享格式等配置，至少编程接口上都是可以配的。
> >
> > Best,
> > tison.
> >
> > [1]
> >
> >
> https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/minicluster/MiniCluster.java
> > [2]
> >
> >
> https://github.com/apache/flink/blob/ab947386ed93b16019f36c50e9a3475dd6ad3c4a/flink-runtime/src/main/java/org/apache/flink/runtime/minicluster/MiniClusterConfiguration.java
> > [3]
> >
> >
> https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/deployment/executors/LocalExecutor.java
> > [4]
> >
> >
> https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/program/PerJobMiniClusterFactory.java
> >
> >
> >
> >
> > 月月  于2020年5月24日周日 下午9:11写道：
> >
> > > 您好，
> > > 在單機模式使用maven執行專案時，會自動啟動MiniCluster，
> > > 我想請問在這種情形下，預設是配置一個JobManager以及一個TaskManager嗎?
> > >
> > > 找了一下文件中並沒有相關的說明。
> > >
> > > 感謝！
> > >
> >
>
>
> --
> Best Regards
>
> Jeff Zhang
>

關於LocalExecutionEnvironment使用MiniCluster的配置

[月月]

您好，
在單機模式使用maven執行專案時，會自動啟動MiniCluster，
我想請問在這種情形下，預設是配置一個JobManager以及一個TaskManager嗎?

找了一下文件中並沒有相關的說明。

感謝！

Re: Dataset是否能以index提取內部元素

[月月]

謝謝解答！
我試一下

Yun Gao  於 2020年1月29日 週三 上午11:40寫道：

>
>  
> 另外，DataSet本身應該沒有按index來提取特定元素的API，如果想要實現相應的功能，感覺應該需要首先給DataSet中各個元素增加index，將其變為Tuple2 Edge>，然後在後續的map操作中根據index來執行不同操作~
>
>
> --
> From:Yun Gao 
> Send Time:2020 Jan. 29 (Wed.) 11:34
> To:user-zh 
> Subject:Re: Dataset是否能以index提取內部元素
>
>  Hello,
>
> 使用index對每個Edge分別處理是說？如果是指dataset中edge的index的話，邏輯上可以通過使用edges.map()或Graph#mapEdges，並在MapFunction中對每個Edge分別進行處理，從而得到一個新的Edge的DataSet；如果是指各欄位的index的話，Edge對象應該可以有相應的對source/target/value的get和set方法，可以對每個欄位進行操作~
>
>
>
>
>
> ------
> From:月月 
> Send Time:2020 Jan. 29 (Wed.) 00:06
> To:user-zh 
> Subject:Dataset是否能以index提取內部元素
>
> 您好，
> 我主要是使用Gelly這個API來做研究，由於研究目標要針對
> *DataSet> (Edge是Gelly特別extend的tuple3，有3個欄位：t0, t1, t2)*
> 內部的各個edge使用t0及t1的值來進行運算後更改t2。
> 原本想說可以用index來針對每個Edge分別處理，但搜尋好號像沒有找到相關用法。
>
> 感謝!
>
>
>

Dataset是否能以index提取內部元素

[月月]

您好，
我主要是使用Gelly這個API來做研究，由於研究目標要針對
*DataSet> (Edge是Gelly特別extend的tuple3，有3個欄位：t0, t1, t2)*
內部的各個edge使用t0及t1的值來進行運算後更改t2。
原本想說可以用index來針對每個Edge分別處理，但搜尋好號像沒有找到相關用法。

感謝!