Maak een offline mirror-kopie van een site met Wget op Windows en Linux
Soms heeft u een doorbladerbare kopie van een website nodig, zodat u deze offline kunt openen, op een USB-stick kunt zetten of zelfs kunt uploaden naar uw smartphone en deze kunt lezen tijdens het vliegen of reizen. Hoewel het in moderne browsers en besturingssystemen gemakkelijk is om een webpagina in pdf op te slaan, kan het vervelend zijn om elke afzonderlijke pagina te verwerken. Hier komt wget.
Advertentie
Wget is een open-source downloadmanager. Het is een console-app die primair voor Linux is ontwikkeld, maar met succes is geport naar andere besturingssystemen, waaronder Windows en MacOS.
hoe te controleren welke ram je hebt
Als u niet bekend bent met wget, moet u het zeker eens proberen. Het is erg krachtig. Het maakt het mogelijk om bestanden op te halen van websites met behulp van HTTP, HTTPS en FTP, de internetprotocollen die we tegenwoordig gebruiken. Zijn gedrag wordt bepaald door opdrachtregelargumenten.
Wget ondersteunt een verscheidenheid aan opties om bestanden op langzame of onstabiele verbindingen op te halen, inclusief nieuwe pogingen, doorgaan waar het is gebleven en meer. Het ondersteunt het 'robots.txt'-bestand, dus het kan werken als een webcrawler. Het kan alleen gewijzigde bestanden ophalen, ondersteunt jokertekens, limieten voor bestandstypen en reguliere extensies.
Wget ondersteunt het recursief ophalen van HTML-websites en FTP-servers, zodat u een website-mirror kunt maken. Hier is hoe het kan worden gedaan.
Voordat u doorgaat, moet u de wget-app downloaden.
Download Wget op Windows
Ik gebruik meestal binaire bestanden van deze bronnen:
Beiden doen hun werk.
Download Wget op Linux
Gebruik de pakketbeheerder van je distro. Enkele voorbeelden (run ze als root ):
Debian / Ubuntu / Mint:
apt install wget
CentOS / Redhat
yum installeer wget
Arch Linux
pacman -Sy wget
Ongeldig Linux
xbps-install -S wget
Om een offline kopie van een site te maken met Wget,
- Open opdrachtprompt / terminal .
- Typ in Windows het volledige pad naar het bestand wget.exe.
- Typ op Linux gewoon wget.
- Typ nu de volgende argumenten om de volgende opdracht te krijgen:
wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://site-to-download.com - Vervang de
https://site-to-download.comgedeelte met de daadwerkelijke site-URL waarvan u een spiegel wilt maken.
Je bent klaar!
Dit zijn de schakelaars die we gebruiken:
--spiegel- past een aantal opties toe om de download recursief te maken.--geen-ouder- Doorzoek de bovenliggende map niet om slechts een deel van de site te krijgen.--convert-links- zorgt ervoor dat alle links correct werken met de offline kopie.--pagina-vereisten- download JS- en CSS-bestanden om de originele paginastijl te behouden bij het bladeren door een lokale mirror.--aanpassen-extensie- voegt de juiste extensies (bijv. html, css, js) toe aan bestanden als ze zonder deze werden opgehaald.
Dat is het.
