Hi, I'm trying to find a good strategy for distributing work among a cluster when we're fetching data from a database. My developers are currently doing GenerateTableFetch and executing it only on the primary node because "otherwise we end up with duplicate data". A little googling on my end and I found out about the List/Fetch pattern. All the examples are for SFTP though.
I'm wondering what a good configuration might be if you're looking to use this pattern for fetching from a database. I've found GenerateTableFetch, and I can certainly use this, but since we're querying multiple tables (but not all tables in the DB!) I'm hoping to use something like ListDatabaseTables before that, so that GenerateTableFetch can be done on the whole cluster and then QueryDatabaseTable as well. So one option is Multiple GenerateTableFetch processors > Funnel > RPG // Input port > QueryDatabaseTable. I'm wondering if there's also a good way to go this route: ListDatabaseTables > RPG // Input port > GenerateTableFetch > QueryDatabaseTable. I want to distribute as much work as possible within the cluster. Kind regards, Walter ________________________________ Deze e-mail, inclusief eventuele bijlagen, is uitsluitend bestemd voor (gebruik door) de geadresseerde. De e-mail kan persoonlijke of vertrouwelijke informatie bevatten. Openbaarmaking, vermenigvuldiging, verspreiding en/of verstrekking van (de inhoud van) deze e-mail (en eventuele bijlagen) aan derden is uitdrukkelijk niet toegestaan. Indien u niet de bedoelde geadresseerde bent, wordt u vriendelijk verzocht degene die de e-mail verzond hiervan direct op de hoogte te brengen en de e-mail (en eventuele bijlagen) te vernietigen. Informatie vennootschap<http://www.ns.nl/emaildisclaimer>
