Linux wget

jde stáhnout v html -asi si pletete co je http a html,

http/https je protokol kterým se přenáší webové stránky, v podobě http jako čistý text, v podobě https jako šifrovaný "text"

html je značkovací jazyk ve kterém se píší webové stránky a podle kterého jsou následně zobrazovány v prohlížeči

aspx soubor jako takový stáhnout nejde protože ten je uložen pouze na serveru a k vám do prohlížeče se posílá již vygenerované html, takže si můžete stáhnout jen výsledek onoho aspx "dokumentu"

wget pro windows je, ale je hoooodně staré, wget s gui neznám, ale zatím jsem nenarazil na stránku která by nešla stáhnout přímo z prohlížeče tedy pokud nejsou nějaké velice specifické požadavky (automatizace, pouze jedny druhy souborů atd)

gnuwin32.sourceforge.net/... nebo eternallybored.org/... pro windows pro linux se nainstaluje normálně pomocí package manageru v terminálu (apt, yum, pacman... záleží podle distribuce), nebo to jde možná i graficky ale to záleží na distribuci, pokud již není předinstalován protože některé distribuce jej již mají, pomocí powershell, powershell absolutně neznám jen vím že ve windowsu; na internetu byla nějaká řešení ale ani jedno z nich mi nefungovalo takže to opravdu nevím

-Druhý link má novější verzi wget a ten můj původní příkaz by pro něj měl fungovat

rekurzivní stažení je že: Pokud to narazi na nějaký souvbor v kterém jsou odkazy na jiný soubor tak to nejprve stáhne ten první soubor potom soubory na které ten 1 soubor odkazuje pak ty na které odkazuje 2soubor a tak dál a dál.

což prakticky dělá ten -m parametr, -A * : -A znamená že má stahovat všechny zadané typy souborů a "*" je univerzální znak pro "vše"

-e norobots=off je zjednodušeně že se má stahovat úplně všechno

-pk jsem již v nápovědě nenašel ale je možné že bylo ve staré verzi?

Každopádně rozdíl mezi - a -- je to většinou univezrální dělení argumetů konzolovým programům -[písmeno] je zkrácený zápis a --[celý-vypsaný-argument] je celý zápis daného argumentu programu - častý příklad -v --verbose (Oba dva dělají totéž a tím je že zvyšují úroveň množství informací které nám program zděluje o běžícím procesu), je to prostě jiný způsob jak argumenty zapsat, takže všechny výše uvedené argumenty by se dali zapsat také takto:

wget --mirror --accept * --reject pdf --execute robots=off --directory-prefix /cilovaslozka/ http://www.web.com/

Dále ještě k nenamáhání serveru tak můžete použít -R což je pro vynechání určitých souborů které nechete, zapisuje se takto: -R png,jpg,pdf

Pokud by jste chtěli aby vlastník stránky nevěděl že stahujete jejich soubory pomocí wget tak si můžete vybrat prohlížeč:

-U mozilla nebo --user-agent mozzila

dále pokud bylo potřeba nějaké další info tak -S vpíše odpověď serveru, kdyby naopak nebyl potřeba žádný výstup tak lze použít "tichý mód": -q kdy se nevypisuje žádný výstup.

--show-progress zobrazí "řádek"průběhu stahování i když je zaplé -q

Dále už si musíte pročíst nápovědu sám a zjistit si co se vám bude hodit, protože vy víte proč chcete ty stránky stahovat jestli to má být automatizované nebo jen pro příležitostné stažení, nápověda se zobrazuje: wget --help a můžete se podívat jestli se bude hodit něco konkrétně vám.

Jinak kdyby něco nebylo jasné tak se můžete ptát dál.

ups -e robots=off "norobots"neexistuje, moje chyba, robost=off značí že robots.txt se má ignorovat, "robots.txt" je většinou soubor na webových serverech který udává jak se k určitým stránkám na serveru mají chovat "roboti"(většinou robotů vyhledávácích nástrojů jako google atd) v tomto souboru bývá napsané jaké části webu nemají "prohledávat"případně nějaké další pravidla (jak dlouho čekat než smí prohledat další stránku (aby nezatěžovali server nebo neprocházeli soukromá data atd))

Parametry jsou citlivé na velká a malá písmena, a zda mají být velká nebo malá je vždy v nápovědě

-e robots=off není přímo v nápovědě ale měl by být udán v dokumentaci wget kterou se taky vyplatí přečíst pokud s ním budete pracovat častěji (ale vše je v angličtině)

gnu.org/...

-pk bude kombinace -p (stáhni všechny obrázky nutné k zobrazení html) a -k (převést odkazy v souborech na lokální cesty k souborům)

příkaz je vlastně něco takového:

[nátezev programu] -agument [parametr argumentu]

příklad s cestou pro stažení: wget -P /cesta/ (alespoň tak jsem to pochopil já) ale víceméně na tom nezáleží používá se to různě hlavně podle zvyku a pro většinu lidí co znám platí že argument==parametr

kompletní české manuály.. našel jsem fora kde se o tom baví ale všechny linky jsou mrtvé, tohle je asi jediný relevantní který jsem našel, jestli pomůže vojta.kalcik.cz/...

Hmm z matematického hlediska... to fakt nevím ale z programovacího by to byla funkce (nejsu si jistý jak přesně funkce fungují v matematice) ale agrumenty/parametry by byly rozhodně proměnné

Z Ftp/fpts jde stahovat v pohodě je tomu i věnovaná sekce v nápovědě , nejjednodušeji to jde nějak takhle:

wget --ftp-user uzivatel --ftp-password heslo ftp://server.dome/...

jak se připojit na ftp pře průzkumník windows netuším, já používám pro ftp FileZilla a tam je to fakt jednoduché takže jsem nic s ftps řešit nemusel

To jsem nikdy nezjišťoval ale myslím si že už jen logicky by se tyto údaje měnit neměly když se na serveru "nic nemění"

Obrácené lomeno v Bashi (terminálové prostředí linuxu) prodlouží příkaz na další řádek a není nutné ho použít nikdy (vždycky je to volitelné), a ani nevím jestli má nějaké zastoupení ve windows

Bash je intrepreter (něco jako Lua, Python), u windows je to Batch, a pokud vím tak bash mají všechny linuxové distribuce. Bash se většinou používá jen ke spouštění jiných programů, popřípadě manipulaci se soubory, ale většina těch "příkazů" jsou stejně jen jiné programy které přes bash spouštíme

Interpreter je program který interpretuje tvoje příkazy podle nějakého jazyka (bash, batch, lua, python) buď jej píšeš přímo do něj nebo je můžeš napsat do skriptu a ten pak kdykoliv spustit a interpreter půjde řádek po řádku a vyplní vše co je tam napsané (interpretování)

ne -S == --server-response protože jsou na stejném řádku (a bylo by to uvedeno že je to zkratka pro: ...)

--spider je samostatný argument (je jich tam hodně které jdou zapsat jen "--" stylem)

S lomítky by problém být neměl, hlavně ve windows mi nikdy lomítka problém nedělala, příklady nastavení user agenta jsou třeba zde http://www.networkinghowtos.com/howto/change-the-user-agent-in-wget/ nic lepšího jsem nenašel, (asi bych okopíroval nějaké z té stránky) a pokud bude mít nějaký parametr mezery tak je lepší ho dát do "uvozovek"jako v těch příkladech co jsou v odkazu (jinak to bude brát jako samostatné argumenty) , a 5 sekundové čekání, to se načekáš jestli chceš stáhnout všecko :D radši bych použil --random-wait ale jak chceš

Ty failedy jsou kvůli --user-agentovi protože je nesprávně zapsaný posílal jsem ti link odkud si musíš okopčit správné zadání user agenta , paramtery s mezerou musíš zapsat do uvozovek, jinak se všechno stáhlo? reklamy by měli jít také stáhnout

ale celkově všechno potrvá hodně dlouho protože těch souborů je brutálně moc

-p znamená že chcete stáhnou všechny obrázky k html souborům a -k že chcete převést internetové odkazy na lokální odkazy do složek jestli je tam musíš mít nebo je nepotřebuješ musíš vědět ty.

%%% ty procenta jsou převod diakritiky to fakt nevím jak se toho zbavit (možná nějaký script který by to převedl zpátky na diakritiku?, muselo by se pohledat)

a můžu se zeptat na co to potřebuješ to si doma plánuješ udělat zálohu půlky internetu nebo ti stačí jen pár stránek? protože přes prohlížeš by to mohlo jít stáhnout i rychleji

Sorry byl jsem v práci a pak neměl moc čas

Jestli toho není moc tak to stáhni přes prohlížeč (řek bych že to bude vypadat stejně) v Ms edge jsem vlastnost pro stáhnutí nenašel ale internet explorer ji má, stačí najít stránku dát klávesovou kombinaci ctrl+s zvolit v jakém formátu stáhnout (nejlepší je vyzkoušet všechny a pak porovnat který nejvíc vyhovuje) (Jinak pro stažení doporučuju Mozzilu firefox(líbilo se mi nejvíc))

Příkazový řádek nevím jestli jde nastavit aby nešel zavřít ale mohlo by to jít spustit na pozadí ale pokud takovou funkci nemá přímo wget vestavěnou tak nevím jak to ve windows udělat (v linuxu se na konec příkazu přidá "&")

Pokud je potřeba tak wget může všechny svoje výpisy ukládat do textového dokumentu, nejdřřív si nějaký vytvoř ve složce s wget a pak nakonec příkazu přidej >nazevDokumentu.txt

o žádném jiném nástroji nevím, možná můžeš zkusit pohledatnebo stahovat přes pohlížeč