Загрузка сайтов с помощью wget

Загрузка сайтов с помощью wget

Иногда может возникнуть необходимость сделать локальное зеркало какого-нибудь сайта. Это можно легко сделать с помощью консольной утилиты wget.

wget --mirror --convert-links \
--adjust-extension --page-requisites \
--no-parent --no-clobber \
http://example.org

Используемые опции:

  • --mirror - Включает рекурсивную загрузку.
  • --convert-links - Конвертирует ссылки в документе для просмотра в автономном режиме.
  • --adjust-extension - Добавляет к файлам подходящие расширения (html, css и т.д.) основываясь на типе их содержимого.
  • --page-requisites - Загружать все файлы, необходимые для отображения HTML страницы, такие как изображения, звуки, таблицы каскадных стилей.
  • --no-parrent  - Не подниматься выше начального адреса при рекурсивной загрузке.
  • --no-clobber - Если при загрузке сайта соединение было разорвано, то укажите этот параметр для продолжения загрузки.

Вы также можете использовать краткую запись команды:

wget -mkEpnpc http://example.com

Или, если совсем лень вбивать флаги, то можно добавить в .bashrc (или .zshrc, кто чем пользуется) человеко-понятный алиас:

alias wgetsite='wget -mkEpnpc'

Тогда все еще проще:

wgetsite http://example.com