[python] progress bar na stahovanie velkeho suboru z githubu
Ahojte,
viem stiahnut velky subor z z githubu takto:
file_content = requests.get(file_url, allow_redirects=True)
file_data = base64.b64decode(file_content.content)
open(output, 'wb').write(file_data)
Kedze to dlho trva, chcem tam implementovat progressbar a tu zacinaju moje
problemy ;-). Nasiel som ze by malo fungovat nieco taketo:
file_size = 19335882 # toto viem vopred
req = requests.get(file_url, allow_redirects=True, stream=True)
block_size = 1024
num_bars = file_size / (block_size*2)
bar = Bar(f'Downloading {filename}', max=num_bars,
suffix='%(percent).1f%% - %(eta)ds')
bytes_transferred = 0
with open(output, "wb") as file:
for chunk in req.iter_content(chunk_size=block_size):
bytes_transferred+= len(chunk)
if chunk:
file.write(chunk)
bar.next()
bar.finish()
print(bytes_transferred)
Moje problem: Velkost prenesenych dat nesedi s velkostou suboru (26640760
vs 19335882 t.j. progress bar nezobrazuje korektny progress) z dovodu, ze
github namiesto suboru posiela subor zabaleny v json a encodovany v base64.
Workaround by mohol byt, ze ak viem velkost finalneho suboru, pokusim sa
vypocitat velkost json filu (req.headers.get('Content-Length') v tomto
pripade na githube nefunguje :-( ). Z neho by som po stiahnuti do pamate
extrahoval content, dekodoval ho a az potom ulozil... Otazkou je ci nie je
inteligentnejsi sposob ako to urobit...
PS: moja testovacia url je:
https://api.github.com/repos/tesseract-ocr/tessdata/git/blobs/b01dab8de8174496a0012bf85296943b3e7c81d7
Zd.
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python
Visit: http://www.py.cz
Re: [python] progress bar na stahovanie velkeho suboru z githubu
Vdaka pomohlo :-)
On Tue, 8 May 2018 at 15:26, Michal Molhanec wrote:
> Ahoj,
>
> zkusil bych si říct přímo o binární data:
>
> req = requests.get(file_url, allow_redirects=True, stream=True,
> headers={"Accept": "application/vnd.github.v3.raw"})
> Viz https://developer.github.com/v3/git/blobs/#custom-media-types
>
> S requests ani GITem ale nedělám.
> Nicméně tohle mi jsem v rychlosti otestoval a fungovalo mi
>
> Zdraví
> Michal
>
> Dne 08.05.2018 v 11:01 ZdPo Ster napsal(a):
>
> Ahojte,
>
> viem stiahnut velky subor z z githubu takto:
>
> file_content = requests.get(file_url, allow_redirects=True)
> file_data = base64.b64decode(file_content.content)
> open(output, 'wb').write(file_data)
>
> Kedze to dlho trva, chcem tam implementovat progressbar a tu zacinaju moje
> problemy ;-). Nasiel som ze by malo fungovat nieco taketo:
>
> file_size = 19335882 # toto viem vopred
> req = requests.get(file_url, allow_redirects=True, stream=True)
> block_size = 1024
> num_bars = file_size / (block_size*2)
> bar = Bar(f'Downloading {filename}', max=num_bars,
> suffix='%(percent).1f%% - %(eta)ds')
> bytes_transferred = 0
> with open(output, "wb") as file:
> for chunk in req.iter_content(chunk_size=block_size):
> bytes_transferred+= len(chunk)
> if chunk:
> file.write(chunk)
> bar.next()
> bar.finish()
> print(bytes_transferred)
>
> Moje problem: Velkost prenesenych dat nesedi s velkostou suboru (26640760
> vs 19335882 t.j. progress bar nezobrazuje korektny progress) z dovodu, ze
> github namiesto suboru posiela subor zabaleny v json a encodovany v base64.
>
> Workaround by mohol byt, ze ak viem velkost finalneho suboru, pokusim sa
> vypocitat velkost json filu (req.headers.get('Content-Length') v tomto
> pripade na githube nefunguje :-( ). Z neho by som po stiahnuti do pamate
> extrahoval content, dekodoval ho a az potom ulozil... Otazkou je ci nie je
> inteligentnejsi sposob ako to urobit...
>
> PS: moja testovacia url je:
> https://api.github.com/repos/tesseract-ocr/tessdata/git/blobs/b01dab8de8174496a0012bf85296943b3e7c81d7
>
>
> Zd.
>
>
> ___
> Python mailing listpython@py.czhttp://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python
Visit: http://www.py.cz
[python] Spracovávanie e-mailov v mboxe (Thunderbird)
Ahojte, máte nie skúsenosti so spracovávaním e-mailov v mboxe? Môj problém je, ako označiť, že (spracovaný) email bol prečítaný. Kontext: potrebujem skript, ktorý raz denne prebehne emaily (v mbox formate / Thunderbird) označené ako neprečítané. Ak e-mail nespĺňa kritériá (odosielateľ, príloha), tak ho označí ako prečítaný... (Thunderbird používa pre neprečítané emaily status "X-Mozilla-Status: " po prečítaní ho zmení na "X-Mozilla-Status: 0001") Zdenko ___ Python mailing list python@py.cz http://www.py.cz/mailman/listinfo/python Visit: http://www.py.cz
Re: [python] Spracovávanie e-mailov v mboxe (Thunderbird)
Takto: použiť štandardné knižnice nebol problém (t.j. nájsť e-mail spĺňajúci kritéria, extrahovať prílohy). Ja sa potrebujem napasovať do existujúce procesu, kde IMAP neviem použiť (keď používateľ spustí emailového klienta, tak sa emaily zo serveru stiahnu a vymažú, rozfiltrujú do lokálnych priečinkov (kt. sú vlastne Thunderbird mailboxy), nad ktorými by fungoval môj skript). Problém je, ako označiť, že e-mail bol prečítaný (t.j. spracovaný) a v tomto prípade je to asi Thunderbird /Mozilla (resp. e-mail klient) špecifická záležitosť. Thunderbird podporuje len mailbox. Čo som hľadal na nete, tak skoro všetko sa točí o tom, ako čítať, resp. vytvoriť email. Ale ak tomu dobre chápem, tak ja potrebujem e-maily modifikovať. V mailboxe, kde je 30-70 tisíc e-mailov. Ideálne tak, aby môj skript nevyžadoval vypnúť e-mailového klienta... Zdenko On Thu, 19 Sep 2019 at 08:59, Lumír Balhar wrote: > Ahoj. > > A musí to být řešení šíté na míru Thunderbirdu? Mám par skriptů, které mi > různým způsobem manipulují s poštou, ale všechny to dělají skrze IMAP přímo > na serveru a tak je pak výsledek synchronizovaný ze serveru na všechna > propojená zařízení. > > Jinak Python má ve tsandardní knihovně moduly pro práci s emaily v různých > formátech (Mailbox, Maildir). > > Hezký den. > Lumír > > Dne středa 18. září 2019 10:28:16 UTC+2 ZdPo Ster napsal(a): > > Ahojte, > > > > > > máte nie skúsenosti so spracovávaním e-mailov v mboxe? > > > > > > Môj problém je, ako označiť, že (spracovaný) email bol prečítaný. > > > > > > Kontext: potrebujem skript, ktorý raz denne prebehne emaily (v mbox > formate / Thunderbird) označené ako neprečítané. Ak e-mail nespĺňa kritériá > (odosielateľ, príloha), tak ho označí ako prečítaný... (Thunderbird používa > pre neprečítané emaily status "X-Mozilla-Status: " po prečítaní ho > zmení na "X-Mozilla-Status: 0001") > > > > > > Zdenko > ___ > Python mailing list > python@py.cz > http://www.py.cz/mailman/listinfo/python > > Visit: http://www.py.cz > ___ Python mailing list python@py.cz http://www.py.cz/mailman/listinfo/python Visit: http://www.py.cz
Re: [python] Spracovávanie e-mailov v mboxe (Thunderbird)
;-) však som písal že sa emaily rozfiltrujú, čiže filtre poznám. Ale asi tažko pomocou TB filtrov e-mailu vyextrahuješ obsah a naimportuješ dáta do db Toto tu neriešim resp. toto už mám hotové. On Thu, 19 Sep 2019 at 13:29, mtip wrote: > Ahoj, > tohle přeci umí Thunderbird, > koukni na Filtry zpráv. > > Mirek > > Dne 18.09.2019 v 10:28 ZdPo Ster napsal(a): > > Ahojte, > > > > máte nie skúsenosti so spracovávaním e-mailov v mboxe? > > > > Môj problém je, ako označiť, že (spracovaný) email bol prečítaný. > > > > Kontext: potrebujem skript, ktorý raz denne prebehne emaily (v mbox > formate / Thunderbird) označené ako neprečítané. Ak e-mail nespĺňa kritériá > (odosielateľ, príloha), tak ho označí ako prečítaný... (Thunderbird používa > pre neprečítané emaily status "X-Mozilla-Status: " po prečítaní ho > zmení na "X-Mozilla-Status: 0001") > > > > Zdenko > > > > ___ > > Python mailing list > > python@py.cz > > http://www.py.cz/mailman/listinfo/python > > > > Visit: http://www.py.cz > > > ___ > Python mailing list > python@py.cz > http://www.py.cz/mailman/listinfo/python > > Visit: http://www.py.cz > ___ Python mailing list python@py.cz http://www.py.cz/mailman/listinfo/python Visit: http://www.py.cz
Re: [python] Spracovávanie e-mailov v mboxe (Thunderbird)
Primárne sa snažím napasovať na (fungujúci) process/workflow. Mám takú blbú predstavu, že sw sa má prispôsobiť ľuďom a nie naopak ;-) Preto som sa pýtal hneď na začiatku, či s tým má niekto skúsenosti. Ak sa to s mailboxom nedá, tak idem skúšať to riešiť na servery. Len ma provokuje, že TB vie za pár okamihov označiť (aj všetky) e-maily ako prečítané/neprečítané a ja cez python nie :- ( On Thu, 19 Sep 2019 at 12:59, wrote: > Ahoj, > > IMAP NEvymazava e-maily zo serveru, toto robi POP3 (a aj tam je to, v > modernejsich implementaciach, mozne vypnut). Aj mne pride ako hlupost > riesit to sposobom, ako sa o to pokusas, snazis sa ohnut softver > sposobom, na ktory nebol navrhnuty. > > Modifikacia e-mailov v mboxe nie je jednuduchy ukon, kedze tie e-maily > su tam ulozene pekne a sebou v jednom velkom subore - ak chces upravit > nejaky e-mail v strede toho suboru, vsetky ostatne data sa musia > 'posunut'. > > Pozri pripadne sem: > http://kb.mozillazine.org/Edit_large_mbox_files > > Skus nam pripadne blizsie popisat, co presne chces urobit (preco chces > tie e-maily takto oznacovat?). > > azur > > > > > Citát ZdPo Ster : > > > Takto: použiť štandardné knižnice nebol problém (t.j. nájsť e-mail > > spĺňajúci kritéria, extrahovať prílohy). Ja sa potrebujem napasovať do > > existujúce procesu, kde IMAP neviem použiť (keď používateľ spustí > > emailového klienta, tak sa emaily zo serveru stiahnu a vymažú, > rozfiltrujú > > do lokálnych priečinkov (kt. sú vlastne Thunderbird mailboxy), nad > ktorými > > by fungoval môj skript). > > > > Problém je, ako označiť, že e-mail bol prečítaný (t.j. spracovaný) a v > > tomto prípade je to asi Thunderbird /Mozilla (resp. e-mail klient) > > špecifická záležitosť. Thunderbird podporuje len mailbox. > > Čo som hľadal na nete, tak skoro všetko sa točí o tom, ako čítať, resp. > > vytvoriť email. Ale ak tomu dobre chápem, tak ja potrebujem e-maily > > modifikovať. V mailboxe, kde je 30-70 tisíc e-mailov. Ideálne tak, aby > môj > > skript nevyžadoval vypnúť e-mailového klienta... > > > > Zdenko > > > > On Thu, 19 Sep 2019 at 08:59, Lumír Balhar > wrote: > > > >> Ahoj. > >> > >> A musí to být řešení šíté na míru Thunderbirdu? Mám par skriptů, které > mi > >> různým způsobem manipulují s poštou, ale všechny to dělají skrze IMAP > přímo > >> na serveru a tak je pak výsledek synchronizovaný ze serveru na všechna > >> propojená zařízení. > >> > >> Jinak Python má ve tsandardní knihovně moduly pro práci s emaily v > různých > >> formátech (Mailbox, Maildir). > >> > >> Hezký den. > >> Lumír > >> > >> Dne středa 18. září 2019 10:28:16 UTC+2 ZdPo Ster napsal(a): > >> > Ahojte, > >> > > >> > > >> > máte nie skúsenosti so spracovávaním e-mailov v mboxe? > >> > > >> > > >> > Môj problém je, ako označiť, že (spracovaný) email bol prečítaný. > >> > > >> > > >> > Kontext: potrebujem skript, ktorý raz denne prebehne emaily (v mbox > >> formate / Thunderbird) označené ako neprečítané. Ak e-mail nespĺňa > kritériá > >> (odosielateľ, príloha), tak ho označí ako prečítaný... (Thunderbird > používa > >> pre neprečítané emaily status "X-Mozilla-Status: " po prečítaní ho > >> zmení na "X-Mozilla-Status: 0001") > >> > > >> > > >> > Zdenko > >> ___ > >> Python mailing list > >> python@py.cz > >> http://www.py.cz/mailman/listinfo/python > >> > >> Visit: http://www.py.cz > >> > > > > ___ > Python mailing list > python@py.cz > http://www.py.cz/mailman/listinfo/python > > Visit: http://www.py.cz > ___ Python mailing list python@py.cz http://www.py.cz/mailman/listinfo/python Visit: http://www.py.cz
Re: [python] Uloženie UNICODE do clipboard
On Tue, 28 Jan 2020 at 18:10, wrote:
> Dňa utorok, 28. januára 2020 16:13:02 UTC+1 domin...@gmail.com napísal(a):
> > Ahoj všetci.
> > Mám taký problém s jedním programom.
> > Som odkázaný používať python verziu 2.5.1 , Tkinter verzia 8.4 , IDE
> 1.2.1 .
> > Riešim problém s kódovaním znakov .
> >
> > potrebujem skopírovať text s diakritikiou do schránky (clipboard) a
> pouzívam na to niekoľko spôsobov a stále neviem ak oto urobiť správne.
> >
> > jeden spôsob je cez Tkinter .
> >
> > import Tkinter as tk
> >
> > okno = tk.Tk()
> > okno.withdraw()
> > okno.clipboard_clear()
> > okno.clipboard_append("žriebä , ľúbim ťa , čítať")
> > okno.update()
> >
> > no ak si potom otvorím notepad a použijem Ctrl+v tak výsledný text je
> skomolenina.
> >
> > Je možné nejako tento problém riešiť?
> >
> > Ďakujem.
>
> Ďakujem.
> Začalo to fungovať.
> Problem bol že som to skušal cez IDE nie spušťať zo súboru .. teraz to
> funguje.
>
> ale potrebuje ešte z jednou vecou poradiť ..
>
> takto mam definované veci aby som mohol vytvoriť radio button .
>
> Farba = [
> (u"Modra",1),
> (u"Zelena",2),
> (u"Cervena",3),
> (u"Cierna",4),
> (u"Biela",5)
> ]
>
> ak pouzijem:
> print Farba[0]
> vypise : 'modra' , 1
>
> ak vicitam len text modra bez toho cisla??
>
myslis toto:
Farba[0][0]
>
> totochcem = 3
>
> teraz pouzivam toto:
> for text, pozicia in Farba:
> if pozicia == totochcem :
> print text
>
> potom v premenej text mam iba farbu
>
> ako to je ??
>
> Ja by som to riesil cez slovnik:
Farba = {
1 : u"Ford",
2 : u"Zelena",
3 : u"Cervena",
4 : u"Cierna",
5 : u"Biela"
}
pozicia = 3
toto_chcem = Farba.get(3, "")
if toto_chcem:
print toto_chcem
> dakujem.
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python
Visit: http://www.py.cz
Re: [python] Private git hub, zkusenosti?
Ake to ma naroky? Lebo skusal som giltab na jednom (starsom) hw a nedalo sa na tom stroji nic robit... + posli ten config do systemd, nech nemusime spekulovat On Wed, 24 Mar 2021 at 16:54, Pavel Schön wrote: > Za sebe doporučuji https://gitbucket.github.io/ > > Jednou jsem nainstaloval, od té doby to prostě funguje. > Všechno to má v sobě: HTTP, SSH i git, vše implementované v javě (nelekej > se). > Je to jeden soubor který prostě funguje. Mohu poslat config pro spuštění > ze systemd. > > > > On Monday, March 15, 2021 at 4:17:00 PM UTC+1, Vladimír Macek wrote: > > Zdar, > > > > mam radu git repozitaru na serveru Debian 10 pomoci gitolite. > > > > Bude dobre povysit to na webove rozhrani, abychom si mohli s kolegy > > minimalne browsit, davat odkazy na mista ve zdrojacich, pripadne i pro > > dalsi featury, ktere nabizi napriklad GitHub/GitLab. > > > > Casem budu chtit treba i podporu prohledavani, wiki, issues, code > review, > > webhooky, podporu CI/CD atp... > > > > Vidim casto odkazy na Gitea nebo GitLab. > > > > Zde https://about.gitlab.com/devops-tools/gitea-vs-gitlab/ > pomochopitelne > > konkurenta vykresluje po svem. > > > > Zde https://docs.gitea.io/en-us/comparison/ je to zase naopak. ;-) > > > > S cim jste spokojeni? Ktery sw zpusobuje mene potizi (instalace, provoz, > ...)? > > > > Diky, > > > > V. > ___ > Python mailing list > python@py.cz > http://www.py.cz/mailman/listinfo/python > > Visit: http://www.py.cz > ___ Python mailing list python@py.cz http://www.py.cz/mailman/listinfo/python Visit: http://www.py.cz
