Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
Uberto Barbini uberto.g...@gmail.com [it-torino-java-jug] ha scritto il 04/03/20 alle 00:32: > > Dico solo che la nostra soluzione ha funzionato ed e' stata veloce da > implementare.. Mi era sembra che il problema fosse simile. > Confermo che il problema è simile Per ora stiamo optando per utilizzare le capacità full text search di postgres. Purtroppo i dizionari di default sono poco potenti: se ne possono installare di migliori ma ci vuole accesso al disco, e con RDS non è possibile Appena possibile, ripesco il thread e vi racconto com'è andata federico
Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
Esistono molti problemi differenti. Giusto per capire il contesto noi dovevamo permettere ricerche con parole (solo AND o OR) all'interno di descrizioni, titoli, e altri campi di un CMS con molti campi. Se ricordo bene il CMS permetteva anche agli utenti di aggiungere campi agli elementi. Il problema con Elastic search era quello di mantenere tutti i dati sincronizzati con le transazioni del db del CMS e gestire backup ecc. come operations. Dico solo che la nostra soluzione ha funzionato ed e' stata veloce da implementare. Mi era sembra che il problema fosse simile. Uberto On Tue, 3 Mar 2020 at 22:28, Ivan Martoccia m.iv...@gmail.com [it-torino-java-jug] wrote: > > > Io mi son trovato molto bene con ElasticSearch. > L’obiettivo era quello di effettuare una ricerca di un soggetto anagrafico > all’interno di una serie di liste sanction ( criminali, politici ecc.. ) > per valutarne il rischio. La ricerca viene fatta per nome, cognome, ragione > sociale, località nascita e anno o data di nascita ed altri campi. Il > nostro problema è che ognuno di questi dati poteva essere un po’ ovunque > perché sono liste diverse tra loro e contengono estratti di articoli di > giornale e molti nomi sono molto stile arabo. > > Facilissima integrazione con le API per Java, accessibili anche via REST > direttamente. > Per ora gira su un nodo solo ma nel caso dovessimo incrementare il volume > delle ricerche o la quantità di dati sappiamo già che possiamo scalare > orizzontalmente. > > Forse è un po’ complessa la struttura delle query che è possibile fare ma > lo abbiamo trovato molto ben documentato e ci ha salvato la vita :) > > > > Il giorno mar 3 mar 2020 alle 23:05 Uberto Barbini uberto.g...@gmail.com > [it-torino-java-jug] < > it-torino-java-jug@yahoogroups.com> ha scritto: > >> >> >> Mah no, noi siamo andati in produzione con quello e funzionava bene per >> un CMS. >> >> Uberto >> >> On Tue, 3 Mar 2020 at 18:00, Matteo Vaccari matteo.vacc...@gmail.com >> [it-torino-java-jug] wrote: >> >>> >>> >>> >>> >>> On Mon, Mar 2, 2020 at 8:22 PM Uberto Barbini uberto.g...@gmail.com >>> [it-torino-java-jug] wrote: >>> Concettualmente è abbastanza facile farlo a mano : Prendi tutti i campi di testo, li metti insieme e spesso le parole, poi fai stamming per ignorare parole simili e dalla pronuncia uguale, e poi filtri via congiunzioni, articoli e simili. >>> stai scherzando vero? :-D >>> >>> -- > Response to : m.iv...@gmail.com > > >
Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
Io mi son trovato molto bene con ElasticSearch. L’obiettivo era quello di effettuare una ricerca di un soggetto anagrafico all’interno di una serie di liste sanction ( criminali, politici ecc.. ) per valutarne il rischio. La ricerca viene fatta per nome, cognome, ragione sociale, località nascita e anno o data di nascita ed altri campi. Il nostro problema è che ognuno di questi dati poteva essere un po’ ovunque perché sono liste diverse tra loro e contengono estratti di articoli di giornale e molti nomi sono molto stile arabo. Facilissima integrazione con le API per Java, accessibili anche via REST direttamente. Per ora gira su un nodo solo ma nel caso dovessimo incrementare il volume delle ricerche o la quantità di dati sappiamo già che possiamo scalare orizzontalmente. Forse è un po’ complessa la struttura delle query che è possibile fare ma lo abbiamo trovato molto ben documentato e ci ha salvato la vita :) Il giorno mar 3 mar 2020 alle 23:05 Uberto Barbini uberto.g...@gmail.com [it-torino-java-jug] ha scritto: > > > Mah no, noi siamo andati in produzione con quello e funzionava bene per un > CMS. > > Uberto > > On Tue, 3 Mar 2020 at 18:00, Matteo Vaccari matteo.vacc...@gmail.com > [it-torino-java-jug] wrote: > >> >> >> >> >> On Mon, Mar 2, 2020 at 8:22 PM Uberto Barbini uberto.g...@gmail.com >> [it-torino-java-jug] wrote: >> >>> >>> >>> Concettualmente è abbastanza facile farlo a mano : >>> Prendi tutti i campi di testo, li metti insieme e spesso le parole, poi >>> fai stamming per ignorare parole simili e dalla pronuncia uguale, e poi >>> filtri via congiunzioni, articoli e simili. >>> >>> >> stai scherzando vero? :-D >> >> > -- Response to : m.iv...@gmail.com
Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
Mah no, noi siamo andati in produzione con quello e funzionava bene per un CMS. Uberto On Tue, 3 Mar 2020 at 18:00, Matteo Vaccari matteo.vacc...@gmail.com [it-torino-java-jug] wrote: > > > > > On Mon, Mar 2, 2020 at 8:22 PM Uberto Barbini uberto.g...@gmail.com > [it-torino-java-jug] wrote: > >> >> >> Concettualmente è abbastanza facile farlo a mano : >> Prendi tutti i campi di testo, li metti insieme e spesso le parole, poi >> fai stamming per ignorare parole simili e dalla pronuncia uguale, e poi >> filtri via congiunzioni, articoli e simili. >> >> > stai scherzando vero? :-D > > >
Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
Il concetto è chiaro, poi ogni singolo passaggio molto meno ( soprattutto nella questione manuale ) . Penso scherzasse cmq (:hope:) Il mar 3 mar 2020, 19:00 Matteo Vaccari matteo.vacc...@gmail.com [it-torino-java-jug] ha scritto: > > > > > On Mon, Mar 2, 2020 at 8:22 PM Uberto Barbini uberto.g...@gmail.com > [it-torino-java-jug] wrote: > >> >> >> Concettualmente è abbastanza facile farlo a mano : >> Prendi tutti i campi di testo, li metti insieme e spesso le parole, poi >> fai stamming per ignorare parole simili e dalla pronuncia uguale, e poi >> filtri via congiunzioni, articoli e simili. >> >> > stai scherzando vero? :-D > > >
Re: [Jug-Torino] CloudConf 2020
Ciao, On Tue, Mar 3, 2020 at 4:21 PM Andrea Ligios andrealig...@gmail.com [it-torino-java-jug] wrote: > > > Ciao, > dal momento che la CloudConf è stata rinviata al 18 giugno, > mi chiedevo che ne fosse del talk previsto per il 19 marzo: salta anche > lui? > Chiedo allo speaker e farò sapere. -- Simone Bordet --- Finally, no matter how good the architecture and design are, to deliver bug-free software with optimal performance and reliability, the implementation technique must be flawless. Victoria Livschitz
Re: [Jug-Torino] CloudConf 2020
Ciao, dal momento che la CloudConf è stata rinviata al 18 giugno, mi chiedevo che ne fosse del talk previsto per il 19 marzo: salta anche lui? Un saluto Il giorno dom 23 feb 2020 alle ore 19:24 Simone Bordet simone.bor...@gmail.com [it-torino-java-jug] < it-torino-java-jug@yahoogroups.com> ha scritto: > > > Ricordiamo a tutti gli iscritti del JUG Torino che l’ottava edizione della > CloudConf si terrà il 19 marzo 2020 a Torino. > > Sono previsti relatori d’eccezione da AWS, Google, IBM, Azure, MongoDB e > tanti altri, per una giornata ricca di interventi tecnici su diversi > capitoli: Kubernetes, Serverless, IoT, Performance, Database, Agile, > Microservizi, Scalabilità… > > Stiamo collaborando con la CloudConf e siamo felici di annunciare che con > il codice sconto "*jug-to*" potete ottenere una riduzione di 10 euro sul > prezzo del biglietto (acquistabile quindi a soli 39,90 euro). > > Vi ricordo che al termine della CloudConf si terrà il meeting JUG Torino > di Aprile, "Effective Java ≈ Kotlin". > https://www.meetup.com/JUGTorino/events/267884254/ > > A presto! > > -- > Simone Bordet > --- > Finally, no matter how good the architecture and design are, > to deliver bug-free software with optimal performance and reliability, > the implementation technique must be flawless. Victoria Livschitz > > >
Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
:) si si chiaro. Nel nostro caso la ricerca era su prodotti, descrizioni ecc. del nostro database quindi comunque roba "pulita". Uberto On Tue, 3 Mar 2020 at 08:59, Roberto Franchini ro.franch...@gmail.com [it-torino-java-jug] wrote: > > > > > On Tue, Mar 3, 2020 at 12:44 AM Uberto Barbini uberto.g...@gmail.com > [it-torino-java-jug] wrote: > >> >> >> Se hai piu' lingue, ognuna va gestita separatamente per via dello >> stemming. >> La lista dei separatori delle parole la trovi facilmente online. Anche se >> ne perdi qualcuna non e' un dramma comunque. >> Per esperienza su un CMS in house piuttosto grosso (Vodafone): il fai da >> te e' tranquillo e sicuro, ma limitato. Pero' noi in poche settimane lo >> avevamo implementato, per integrarsi poi con Solr un altro team ci ha >> lavorato per piu' di un anno. >> Certo il risultato finale era molto piu' avanzato e permetteva query >> "simil Google". >> >> > Con Raf abbiamo lavorato per anni con Lucene direttamente. E non solo. > Da ingegnere, grazie alle nostre linguiste, ho avuto l'opportunita' di > scoprire il mondo magico delle lingue. Ed anche di imparare un po' di > italiano :) > Ricordo ancora con affetto il primo tokenizer per l'analisi linguistica: > funzionava benissimo sui testi "puliti" di documenti scritti da esseri > senzienti. > Appena gli abbiamo dato in pasto testi presi a caso da internet, scritti > dalle capre, e' semplicemente esploso.. > > Per chi volesse approfondire l'argomento, un testo: > https://www.manning.com/books/relevant-search > > FRANK > > -- > Roberto Franchini > "The impossible is inevitable" > https://github.com/robfrank/ > https://twitter.com/robfrankie > https://www.linkedin.com/in/robfrank > > >
Re: [Jug-Torino] Esperienze nell'aggiungere full text search a un'app esistente
On Tue, Mar 3, 2020 at 12:44 AM Uberto Barbini uberto.g...@gmail.com [it-torino-java-jug] wrote: > > > Se hai piu' lingue, ognuna va gestita separatamente per via dello stemming. > La lista dei separatori delle parole la trovi facilmente online. Anche se > ne perdi qualcuna non e' un dramma comunque. > Per esperienza su un CMS in house piuttosto grosso (Vodafone): il fai da > te e' tranquillo e sicuro, ma limitato. Pero' noi in poche settimane lo > avevamo implementato, per integrarsi poi con Solr un altro team ci ha > lavorato per piu' di un anno. > Certo il risultato finale era molto piu' avanzato e permetteva query > "simil Google". > > Con Raf abbiamo lavorato per anni con Lucene direttamente. E non solo. Da ingegnere, grazie alle nostre linguiste, ho avuto l'opportunita' di scoprire il mondo magico delle lingue. Ed anche di imparare un po' di italiano :) Ricordo ancora con affetto il primo tokenizer per l'analisi linguistica: funzionava benissimo sui testi "puliti" di documenti scritti da esseri senzienti. Appena gli abbiamo dato in pasto testi presi a caso da internet, scritti dalle capre, e' semplicemente esploso. Per chi volesse approfondire l'argomento, un testo: https://www.manning.com/books/relevant-search FRANK -- Roberto Franchini "The impossible is inevitable" https://github.com/robfrank/ https://twitter.com/robfrankie https://www.linkedin.com/in/robfrank
