Как скачать полностью сайт при помощи wget утилиты

Как скачать полностью сайт при помощи wget утилиты

Нередко возникает необходимость получить копию сайта, например, чтобы получить доступ к нему без сети, локально на компьютере.

Существует не один способ, но мы разберем на примере один вариант для Linux, просто потому что мы находимся в соответствующем разделе.

Для нашей задачи будем использовать широко популярную утилиту WGET, работающая в терминале linux и включенной по умолчанию почти во все дистрибутивы, кстати есть и версия под windows, без GUI, так же расчитанная для работы в консоли.

Wget – Бесплатная консольная утилита предназначенная для скачивания файлов по сети, обладающая широкими возможностями, в Windows среде такие программы называются менеджер загрузок или менеджер закачек.

Утилита, поддерживая все современные протоколы передачи данных, такие как HTTP,HTTPS,FTP и другие, так же поддерживается работа через прокси серверы.

Открываем терминал в линукс и набираем команду:

wget

В ответ получим

Screenshot_9.jpg

wget: отсутствует URL
Использование: wget [ПАРАМЕТР]... [URL]...
Дополнительные параметры выводятся по команде «wget --help».

Есть результат будет другим, на вроде этого

bash: wget: команда не найдена

Это означает что утилита отсутствует в системе и требуется установка из пакетов, репозиториев или исходников, все зависит от того какая у вас операционная система

Ubuntu: apt install wget или apt-get install wget
Centos:  yum install wget
Freebsd: cd /usr/ports/ftp/wget && make install clean
Debian:  apt-get install wget

 

Хоть Freebsd не далеко не линукс, к инструкции будет кстати, для других систем погуглите, выходит за рамки нашего материала.

И так готово, утилита установлена и готова к плодотворной работе, теперь выбираем нужный нам сайт, например, site.ru:

Переходим в папку где будет расположен наш сайт

cd /var/www/

В терминале вводим:

wget -r -k -l 5 –p -o log.txt -E -nc http://site.ru

Screenshot_1.jpg


Начнется загрузка html, css, xml, txt, и других файлов с сайта, обратите внимание если на сайте присутствуют файлы больших размеров, убедитесь, что место на диске будет достаточно, либо указать какие файлы можно скачивать а какие нет, ключи приведу ниже. (в моем случае сайт выдал 503 ошибку и загрузка приостановилась.)

Разберем ключи:

Внимание! Ключи регистр зависимые.

  • -r - рекурсивный обход.

  • -P - путь к папке куда загружать файлы, например, wget –P /usr/home/

  • -b – Фоновый режим загрузки.

  • -c – Продолжить загрузку с того же места, в случае обрыва соединения.

  • -l  - Глубина рекурсии, обычно для сайта подойдет 4-7, пример wget -l 4 https://site.ru

  • -k – важнейший параметр, формирует ссылки в относительные, без таких ссылок на страницах локальной копии сайта будет перекидывать на домен site.ru и вы прост оне сможете переходить по ссылкам внутри сайта.

  • -E – Создает расширение .HTML

  • -R – Параметр позволяет исключить из загрузки файлы по маске, например:

  • wget –R “*.rar” http://site.ru

В принципе все, после того как программа завершит скачивания сайта, можно будет открывать и смотреть.

Не исключены проблемы с разного рода JS встроенными скриптам и не загружаются картинки из стилей css, так что не ждите “идеальной копии сайта”.




Просмотров 604

Дата

Автор

Комментариев (0)

Раздел Linux

logo softportal.pro

ScreenShooter
ScreenShooter
Версия:2.1.1 / Бесплатно Загрузок:229
LightShot - Программа для скриншотов
LightShot - Программа для скриншотов
Версия:5.4.0.1 / Бесплатно Загрузок:10
Advanced SystemCare Free
Advanced SystemCare Free
Версия:12.1.0 / Бесплатно Загрузок:54
Driver Booster Free
Driver Booster Free
Версия:6.2.0 / Бесплатно Загрузок:21
San Andreas Multiplayer SA-MP
San Andreas Multiplayer SA-MP
Версия:0.3.7 / Бесплатно Загрузок:8
Widcomm Bluetooth SoftWare
Widcomm Bluetooth SoftWare
Версия:12.0.1.940 / Бесплатно Загрузок:3146
OSPanel
OSPanel
Версия:5.2.9 / Бесплатно Загрузок:384
BlueStacks 3
BlueStacks 3
Версия:3 / Бесплатно Загрузок:364
DAEMON Tools Lite
DAEMON Tools Lite
Версия:10.9.0 / Бесплатно Загрузок:353
HDD Raw Copy Tool
HDD Raw Copy Tool
Версия:1.10 / Бесплатно Загрузок:295
Яндекс Погода
Яндекс Погода
Версия:6.2 / Бесплатно Загрузок:38
Фоторедактор Aviary
Фоторедактор Aviary
Версия:4.8.4 / Бесплатно Загрузок:14
Навител
Навител
Версия:9.9.449 / Триал Загрузок:16
2ГИС Карты и справочники
2ГИС Карты и справочники
Версия:4.1.39 / Бесплатно Загрузок:20
Моя Говорящая Анджела
Моя Говорящая Анджела
Версия:3.7.2.51 / Бесплатно Загрузок:22
Google Play Маркет
Google Play Маркет
Версия:12.9.12 / Бесплатно Загрузок:2841
Shadow Fight 2
Shadow Fight 2
Версия:1.9.38 / Бесплатно Загрузок:228
Viber (вайбер)
Viber (вайбер)
Версия:9.3.0.6 / Бесплатно Загрузок:78
Max Payne Mobile
Max Payne Mobile
Версия:1.2 / Бесплатно Загрузок:73
ВКонтакте
ВКонтакте
Версия:5.13 / Бесплатно Загрузок:57