softporta.pro
  • Windows
    • Системные инструменты
      • Архиваторы
      • Системные библиотеки
      • Эмуляторы
      • Виртуализация
      • Оптимизация и обслуживание
      • Разное
      • Деинсталляторы
      • Boot менеджеры
      • Расширения
    • Мультимедиа
      • Кодеки
      • Редакторы видео
      • Проигрыватели
      • Запись видео
      • Конвертеры
      • Утилиты
      • Микшеры и синтезаторы
      • Графические редакторы
    • CD и DVD Инструменты
      • Запись CD/DVD
      • Образы дисков
    • Файлы и диски
      • Жесткий диск
      • Файловые менеджеры
      • USB
      • Очистка диска
      • Дефрагментаторы
      • Резервное копирование
    • Интернет и сети
      • FTP, SSH, Telnet
      • Администрирование
      • Браузеры
      • Общение и Мессенджеры
      • Торрент клиенты
      • Менеджеры загрузок
      • Навигация
      • Социальные сети
      • Интернет ТВ
      • Почтовые клиенты
      • Облачные сервисы
      • Домашние медиа серверы
      • Вебкамеры
      • VPN и WEB-Прокси
      • IP-телефония
    • Серверы
      • FTP Серверы
      • Базы данных
    • Железо
      • Драйверы
      • Диагностика и мониторинг
    • Безопасность
      • Антивирусы
      • Антивирусные сканеры
      • Блокировка рекламы
      • Файрволы
      • Защита данных
    • Графика и Дизайн
      • Захват экрана
      • 3D дизайн
    • Разработка
      • Редакторы кода
      • HTTP-серверы
      • Веб разработка
      • Среды разработки
      • CMS - Системы управления контентом
    • Игры
    • Утилиты для игр
    • Офис и текст
      • Текстовые редакторы
      • Чтение PDF и DjVu
      • Сканеры и Распознавание
      • Чтения текста голосом
      • Читалки FB2
    • Русификаторы
    • Бизнес
      • Торговля
    • Мобильные телефоны
    • Рабочий стол и интерфейс
  • Android
    • Мультимедиа и Видео
      • Видеоплееры
    • Игры
      • Приключения
      • Стратегии
      • Спортивные
      • Симуляторы
      • Аркады
      • Головоломки
    • Интернет и сети
      • Общение и Мессенджеры
      • Покупки
      • Браузеры
      • Социальные сети
      • VPN
    • Системные утилиты
    • Навигации
    • Образование
    • Файловые менеджеры
    • Облако и резервное копирование
    • Книги и справочники
    • Безопасность
    • Бизнес и Финансы
  • Операционные системы
  • Драйвера
    • Мыши
    • Веб камеры
    • Звуковые платы
    • Драйверa для чипсетов
    • Драйвера для диагностики авто
  • Статьи
    • Linux
    • Windows статьи
softporta.pro
  1. Главная
  2. Статьи
  3. Linux
  4. Как скачать полностью сайт при помощи wget утилиты
Как скачать полностью сайт при помощи wget утилиты / / Windows
Рейтинг: 5/5 - 2 голос(ов)
Как скачать полностью сайт при помощи wget утилиты
  • Обновлено: 14 июля 2019, 16:04
  • Дата публикации: 01 апреля 2019, 22:32
  • Автор: criminalist
  • Раздел: Linux
  • Просмотров: 2343

Как скачать полностью сайт при помощи wget утилиты

Нередко возникает необходимость получить копию сайта, например, чтобы получить доступ к нему без сети, локально на компьютере.

Существует не один способ, но мы разберем на примере один вариант для Linux, просто потому что мы находимся в соответствующем разделе.

Для нашей задачи будем использовать широко популярную утилиту WGET, работающая в терминале linux и включенной по умолчанию почти во все дистрибутивы, кстати есть и версия под windows, без GUI, так же расчитанная для работы в консоли.

Wget – Бесплатная консольная утилита предназначенная для скачивания файлов по сети, обладающая широкими возможностями, в Windows среде такие программы называются менеджер загрузок или менеджер закачек.

Утилита, поддерживая все современные протоколы передачи данных, такие как HTTP,HTTPS,FTP и другие, так же поддерживается работа через прокси серверы.

Открываем терминал в линукс и набираем команду:

wget

В ответ получим

Screenshot_9.jpg

wget: отсутствует URL Использование: wget [ПАРАМЕТР]... [URL]... Дополнительные параметры выводятся по команде «wget --help».

Есть результат будет другим, на вроде этого

bash: wget: команда не найдена

Это означает что утилита отсутствует в системе и требуется установка из пакетов, репозиториев или исходников, все зависит от того какая у вас операционная система

Ubuntu: apt install wget или apt-get install wget
Centos:  yum install wget
Freebsd: cd /usr/ports/ftp/wget && make install clean
Debian:  apt-get install wget

И так готово, утилита установлена и готова к плодотворной работе, теперь выбираем нужный нам сайт, например, site.ru:

Переходим в папку где будет расположен наш сайт

cd /var/www/

В терминале вводим:

wget -r -k -l 5 –p -o log.txt -E -nc http://site.ru

Screenshot_1.jpg

 

Начнется загрузка html, css, xml, txt, и других файлов с сайта, обратите внимание если на сайте присутствуют файлы больших размеров, убедитесь, что место на диске будет достаточно, либо указать какие файлы можно скачивать а какие нет, ключи приведу ниже. (в моем случае сайт выдал 503 ошибку и загрузка приостановилась.)

Разберем ключи:

Внимание! Ключи регистр зависимые.

  • -r - рекурсивный обход.

  • -P - путь к папке куда загружать файлы, например, wget –P /usr/home/

  • -b – Фоновый режим загрузки.

  • -c – Продолжить загрузку с того же места, в случае обрыва соединения.

  • -l  - Глубина рекурсии, обычно для сайта подойдет 4-7, пример wget -l 4 https://site.ru

  • -k – важнейший параметр, формирует ссылки в относительные, без таких ссылок на страницах локальной копии сайта будет перекидывать на домен site.ru и вы прост оне сможете переходить по ссылкам внутри сайта.

  • -E – Создает расширение .HTML

  • -R – Параметр позволяет исключить из загрузки файлы по маске, например:

  • wget –R “*.rar” http://site.ru

В принципе все, после того как программа завершит скачивания сайта, можно будет открывать и смотреть.

Не исключены проблемы с разного рода JS встроенными скриптам и не загружаются картинки из стилей css, так что не ждите “идеальной копии сайта”.


Установка Composer PHP в CentOS 7 (linux)
Установка OCI8 на PHP 7.3 в Ubuntu
  • Postman - инструмент для тестирования API

    Postman - инструмент для тестирования API

    Postman является отличным выбором API тестирования для тех, кто не желает иметь дела с кодировками в...

  • Zello рация

    Zello рация

    Zello - это небольшое и очень простое в использовании приложение для голосового общения через Интерн...

  • WinHex - редактор

    WinHex - редактор

    WinHex - это расширенный шестнадцатеричный редактор дисков для низкоуровневого анализа и модификации...

  • SoapUI

    SoapUI

    SoapUI представляет собой консольный инструмент, предназначенный для тестирования API и позволяющий ...

  • Huawei HiSuite (на русском)

    Huawei HiSuite (на русском)

    Huawei HiSuite - это программа для управления данными, хранящимися в памяти мобильного устройства Hu...

  • Imvu (Имву)

    Imvu (Имву)

    IMVU (Instant Messaging Virtual Universe) — это интернет-сайт социальных развлечений, в которых люди...

  • Словоеб

    Словоеб

    Словоеб – Это простой инструмент, с помощью которого можно без особых знаний продвигать свои собстве...

  • OoVoo

    OoVoo

    OoVoo — приложение для обмена сообщениями и организации видеоконференций. Сервис работает на персона...

  • Opera Neon

    Opera Neon

    Opera Neon — бесплатный браузер нового поколения, позволяющий сделать интернет-серфинг и просмотр ви...

  • Microsoft Edge

    Microsoft Edge

    Microsoft Edge — единственный браузер с встроенными инструментами, помогающими сэкономить время и де...

  • Comodo Dragon Internet Browser

    Comodo Dragon Internet Browser

    Comodo Dragon — бесплатная и быстрая программа для безопасного серфинга в интернете, созданная на ба...

  • Guitar Pro

    Guitar Pro

    Guitar Pro - это профессиональный инструмент для удобной работы с табулатурами и доступным обучением...

  • ASIO4ALL

    ASIO4ALL

    ASIO4ALL - универсальный драйвер для звуковых карт, основная и единственная задача которого - уменьш...

  • MobaXterm

    MobaXterm

    MobaXterm - это инструмент для удаленного управления компьютером, поддерживаются протоколы такие как...

  • IcoFX - создания иконок и курсоров

    IcoFX - создания иконок и курсоров

    IcoFX — бесплатное приложение для создания иконок и курсоров. Поддерживает режим регулирования прозр...

  • Verb

    Verb

    Verb — новая социальная сеть, позволяющая публиковать информацию о каких-либо действиях пользователя...

  • Hangouts

    Hangouts

    Hangouts — бесплатная служба от компании «Google», предназначенная для отправки мгновенных сообщений...

  • Psiphon Pro

    Psiphon Pro

    Psiphon Pro 3 — бесплатная программа, созданная для обхода запрещенных правительством интернет-ресур...

  • Slack

    Slack

    Slack — android-версия частной сети для обмена информацией, которая предназначена для общения между ...

  • PicsArt Photo Studio

    PicsArt Photo Studio

    PicsArt Photo Studio — универсальный графический и видеоредактор для Android с богатыми функциональн...

  • GTA San Andreas

    GTA San Andreas

    GTA San Andreas (Grand Theft Auto: San Andreas) — игра для Android, разработанная в жанре «криминаль...

  • Snapchat

    Snapchat

    Snapchat — популярный мессенджер для общения посредством переписки в чате или видеосвязи. Он разрабо...

  • Яндекс Мессенджер

    Яндекс Мессенджер

    Яндекс.Мессенджер — простое и удобное приложение для переписки в чатах или осуществления видеозвонко...

  • Oddmar

    Oddmar

    Oddmar — игра для платформы «Android», в которой геймер может окунуться в мир скандинавской мифологи...

  • Mi Remote

    Mi Remote

    Mi Remote — программа для android-устройств, позволяющая дистанционно управлять различными бытовыми ...

  • Telegram X

    Telegram X

    Telegram X — android-приложение для общения между пользователями посредством переписки и выполнения ...

  • Авито

    Авито

    Авито — бесплатное android-приложение, позволяющее просматривать и мониторить новые объявления на он...

  • AliExpress Shopping Apps

    AliExpress Shopping Apps

    AliExpress Shopping Apps (Алиэкспресс) — приложение для доступа к базе данных товаров известного инт...

  • Keepsafe - Секретная Папка

    Keepsafe - Секретная Папка

    Keepsafe — Android-приложение, позволяющее скрывать папки с фотографиями и другой личной информацией...

  • Imgur - фотохостинг

    Imgur - фотохостинг

    Imgur — бесплатное и простое в использовании онлайн-хранилище изображений пользователя, написанное д...

Комментарии на сайте доступны только для зарегистрированных пользователей, вы можете пройти регистрацию или войти с помощью социальных сетей, если у вас еще нет аккаунта.

Вы можете войти на сайте через соц. сети:
VkontakteYandexGoogle

    Контакты

    • Email: admin@softportal.pro
    • Телеграм: softportal_pro

    Политика и соглашения

    • Пользовательское соглашение
    • Политика конфиденциальности сайта

    Мы в соцсетях

    Войти
    • Авторизация
    • Регистрация
    • Забыл пароль?
    Вы можете войти на сайте через соц. сети:
    VkontakteYandexGoogle