Něco takového?
http://harelba.github.io/q/
Jinak příklad s tím jq by vypadal takhle:
echo -e 'model,variant,count,description\nTZX,v1,12,foo\nXX,n,3,bar' |
./csv_to_jsonl.py | jq 'select((.model|test("^TZ")) and (.count|tonumber >
10))'
(formát výstupu se dá změnit)
Dne 6. března 2018 13:56 Vl
Děkuju všem reagujícím.
In-memory SQLite, Python samotný, Pandas, shell, XPath, ... ano, to jsou
všechno validní záležitosti.
Měl jsem však před očima něco takového, co když dostane na vstupu tabulku,
kde první řádek je záhlaví
MODEL | VARIANT | COUNT | DESCRIPTION
a dostane stringové query tře
Dne 5. března 2018 16:36 Petr Viktorin napsal(a):
> Nebo s Pandas...
>
> import pandas
> pandas.Series(range(10)).map('map mame {}'.format)
>
>
Ano, to je ono :) Díky za doplnění.
Na takovémhle API se mi líbí, že když k tomu chci něco přidat, tak to
prostě přidám na konec, nemusím pak ještě lézt
Nebo s Pandas...
import pandas
pandas.Series(range(10)).map('map mame {}'.format)
On 03/05/18 16:23, starenka . wrote:
In [2]: list(map(lambda x: 'map mame %s' % x, range(10)))
Out[2]:
['map mame 0',
'map mame 1',
'map mame 2',
'map mame 3',
'map mame 4',
'map mame 5',
'map mame 6'
In [2]: list(map(lambda x: 'map mame %s' % x, range(10)))
Out[2]:
['map mame 0',
'map mame 1',
'map mame 2',
'map mame 3',
'map mame 4',
'map mame 5',
'map mame 6',
'map mame 7',
'map mame 8',
'map mame 9']
---
In Perl you shoot yourself in the foot, but nobody can understand how you
did
Pokud si CSV převedeš do JSONL, což je podle mě vhodnější formát pro data,
tak potom doporučuji utilitu jq, je to něco jako XPath pro JSON:
https://stedolan.github.io/jq/ A díky streamování můžeš i zpracovávat data,
která se ti nevejdou ani do paměti, a paralelizovat přes všechna CPU (nebo
si CPU v
On 2018-03-05, 13:34 GMT, Ales Zoulek wrote:
> in-memory sqlite?
Natáhnout celou tabulku do SQLite a zpracovávat SQL příkazy.
A SQLite umí pracovat nejenom nad souborem, ale i nad daty jenom
v paměti.
Matěj
--
https://matej.ceplovi.cz/blog/, Jabber: mc...@ceplovi.cz
GPG Finger: 3C76 A027 CA45
No, je na to jeden takový super jazyk - Python :)
I když teda existuje jazyk, ve kterém se nějaké adhoc datové transformační
pipelines dělají ještě lépe - Javascript. Škoda, že Python list nemá metodu
map, musí se to dělat minimálně přes list comprehensions, což je sice
obecnější, ale o něco pomal
pandas
---
In Perl you shoot yourself in the foot, but nobody can understand how you
did it. Six months later, neither can you. | print 'aknerats'[::-1]
2018-03-05 14:51 GMT+01:00 Jirka Vejrazka :
> Ja si tohle vetsinou pisu na kolene, byva to rychlejsi nez pouzit nejaky
> hotovy nastroj. Vetsin
Ja si tohle vetsinou pisu na kolene, byva to rychlejsi nez pouzit nejaky
hotovy nastroj. Vetsinou potrebuju jen dve nebo tri podminky a je pro mne
jednodussi to pomoci "csv" modulu napsat, nez se zabyvat nejakym importem.
Pokud je to hodne dat, poustim to pod pypy.
Ale YMMV :)
Jirka
2018-03-05
On 03/05/2018 02:31 PM, Vláďa Macek wrote:
Zdar,
mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
elegantním nástroji (modulu) pro Python implementujícím jednoduchý
dotazovací jazyk?
Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
regexp), ve sloupci C n
in-memory sqlite se ti nezamlouva?
2018-03-05 14:31 GMT+01:00 Vláďa Macek :
> Zdar,
>
> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
> dotazovací jazyk?
>
> Jako "dej mi všechny řádky, které mají ve sloup
Hola,
in-memory sqlite?
A.
On Mon, Mar 5, 2018 at 2:32 PM Vláďa Macek wrote:
> Zdar,
>
> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
> dotazovací jazyk?
>
> Jako "dej mi všechny řádky, které mají ve
13 matches
Mail list logo
