Yes, we use it in production. Indeed Ranger was not able to list S3 objects. Also we create own service definition where we map S3 permissions with bucket paths By default no plugin for S3
-----Wiadomość oryginalna----- Od: Odon Copon [mailto:[email protected]] Wysłano: 8 lutego 2019 13:17 Do: [email protected] Temat: Re: Apache Ranger on EMR + S3 Hi Adam, Thank you for the information and the effort to create the plugin. Are you using it in production? What was the main issue with S3? Is what I commented before that Ranger is not able to list and interact with S3 Objects? On Fri, 8 Feb 2019 at 12:05, Rempter, A. (Adam) <[email protected]> wrote: > Hi Odon, > We have created our own plugin for Ranger to handle S3 Objects (in our > case Ceph is backend). > > Have a look at: > https://github.com/ing-bank/apache-ranger-s3-plugin > > Hope this helps, > Adam Rempter > > -----Wiadomość oryginalna----- > Od: Odon Copon [mailto:[email protected]] > Wysłano: 8 lutego 2019 12:49 > Do: [email protected] > Temat: Apache Ranger on EMR + S3 > > Hi, > I'm considering using Apache Ranger on EMR + S3 and haven't found much > information about this. > Would it work out of the box if I use Ranger HDFS plugin with S3? Or > does Ranger have issues creating policies based on S3 paths? > I was assuming this was going to work because EMRFS is implementing > Hadoop interface so using HDFS or S3 should be transparent, but > worried that when creating a service, Ranger is not able to communicate with > S3 properly. > > Does it need some sort of S3 plugin to help Ranger be able to do this? > Anything on the roadmap? > > > Thanks. > > ING Business Shared Services B.V. z siedzibą w Amsterdamie, Holandia, > VAT PL 526-319-58-54, działająca w Polsce w formie oddziału, pod firmą > ING Business Shared Services B.V. spółka z ograniczoną > odpowiedzialnością Oddział w Polsce z siedzibą w Katowicach, ul. > Konduktorska 35, 40-155 Katowice, NIP: 2050005130, wpisana do rejestru > przedsiębiorców Krajowego Rejestru Sądowego prowadzonego przez Sąd > Rejonowy Katowice-Wschód w Katowicach, VIII Wydział Gospodarczy > Krajowego Rejestru Sądowego pod numerem KRS 0000702305. > ING Business Shared Services B.V. z siedzibą w Amsterdamie, Holandia, VAT PL 526-319-58-54, działająca w Polsce w formie oddziału, pod firmą ING Business Shared Services B.V. spółka z ograniczoną odpowiedzialnością Oddział w Polsce z siedzibą w Katowicach, ul. Konduktorska 35, 40-155 Katowice, NIP: 2050005130, wpisana do rejestru przedsiębiorców Krajowego Rejestru Sądowego prowadzonego przez Sąd Rejonowy Katowice-Wschód w Katowicach, VIII Wydział Gospodarczy Krajowego Rejestru Sądowego pod numerem KRS 0000702305.
