waw, díky za nasměřování.
Nečekal jsem, že dopadnu na blacklist s robotem, kterej dělá jeden dotaz
za den. Tak jsem robotovi dodal jiné IP a uvidíme, kdy zabanujou
dalšího. A přidal jsem jim zábavné hlavičky, jako třeba referer a tak.
Dne 04.12.2025 v 10:31 Marián Černý napsal(a):
Ahoj,
mne fetch na FreeBSD funguje, takže to je asi blokovanie na základe niečoho
iného, napríklad IP adresy.
Ináč je to možné si z web browseru cez developer tools vygenerovať curl request
so všetkými hlavičkami. (Niečo ako Copy as cURL)
Napríklad u mňa na Safari na MacOS:
curl
'https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html'
\
-X 'GET' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' \
-H 'Sec-Fetch-Site: none' \
-H 'Cookie: _ga=GA1.1.1335391397.1764837299;
_ga_79ZN9E9Y6E=GS2.1.s1764837299$o1$g0$t1764837299$j60$l0$h0' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)
AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.6 Safari/605.1.15' \
-H 'Accept-Language: en-US,en;q=0.9' \
-H 'Accept-Encoding: gzip, deflate, br' \
-H 'Sec-Fetch-Dest: document' \
-H 'Priority: u=0, i'
Takto to pošle totožný request, ako posielal browser.
V tejto forme to curl ešte nevypíše, lebo výstup je komprimovaný:
Warning: Binary output can mess up your terminal. Use "--output -" to tell curl to output it to
your terminal anyway, or consider "--output Warning: <FILE>" to save to a file.
Tak buď umazať hlavičku Accept-Encoding alebo pridať parameter --compressed.
Majo
On 4. 12. 2025, at 9:29, Jindrich Fucik <[email protected]> wrote:
Ahoj,
narazil jsem na problém, kterému asi úplně nerozumím. Systému FreeBSD se asi
týká jen okrajově.
Máme stránku:
https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html
když si jí otevřu v prohlížeči, dostanu celkem přijatelný obsah.
Dlouhá léta jsem si ten obsah stahoval pomocí fetch a posílal na mobilní
zařízení:
/usr/bin/fetch -qo -
"https://www.chmi.cz/files/portal/docs/meteo/om/predpovedi/kraje/p_ph_strucna.html";
Tento týden mi však fetch (stejně tak například lynx) začal havarovat, nejprve s chybou
"pernament redirect" a dnes 404 - not found. Předpokládám, že zavedli nějakou
zábavnou hru na filtrování podle nějakých hlaviček, ale nevím podle kterých, nebo co se
jim na fetch nelíbí. Pochopitelně parametr --user-agent jsem zkusil použít.
Zajímá mne to spíš ze zvědavosti.
Díky
