Руководство по использованию Wget на Mac

Wget — это удобная утилита для работы с веб-контентом через командную строку. Она позволяет скачивать отдельные файлы, веб-страницы и даже целые сайты. Благодаря поддержке разных протоколов и гибким настройкам Wget становится незаменимым инструментом для разработчиков, системных администраторов и всех, кто регулярно работает с данными из интернета.

В этой статье вы узнаете, как установить Wget на Mac с процессором M1, настроить его и эффективно использовать команды для загрузки данных. Мы также разберем основные ошибки и их решение, чтобы сделать вашу работу с утилитой максимально простой и продуктивной.


Установка Wget на Mac

Шаг 1. Установите Homebrew

Homebrew — это менеджер пакетов для macOS, который упрощает установку программ. Если он у вас уже есть, переходите к следующему шагу.

  1. Откройте Терминал (через Spotlight или Finder → Приложения → Утилиты).
  2. Введите команду:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"  

3. Следуйте инструкциям на экране.

Важно для M1: После установки добавьте Homebrew в переменную ‘PATH‘:

echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zshrc  
source ~/.zshrc

Шаг 2. Установите Wget

Введите в Терминале:

brew install wget

Проверка работоспособности Wget


Чтобы убедиться, что Wget установлен корректно, выполните:

wget --version

Вывод должен содержать информацию о версии, например: GNU Wget 1.21.3 built on darwin22.1.0.

Если возникает ошибка «wget команда не найдена», проверьте, добавлен ли Homebrew в ‘PATH‘ (см. Шаг 1).

Основные команды Wget: примеры использования

1. Скачать файл через Wget

wget https://example.com/file.zip

Файл сохранится в текущей директории.

2. Скачать сайт целиком
Для создания локальной копии сайта используйте:

wget --mirror \  
     --convert-links \  
     --adjust-extension \  
     --page-requisites \  
     --no-parent \  
     --domains example.com \  
     -P ~/website-copy \  
     https://example.com  
  • –mirror — режим зеркалирования (скачивает все связанные страницы).
  • –convert-links — преобразует ссылки для локального просмотра.
  • –domains — ограничивает загрузку указанным доменом.

2.1 Команда для продвинутого скачивания сайта

Если вы хотите скачать сайт с максимальным охватом файлов и обходом ограничений, используйте:

wget --no-check-certificate -r -k -p -E -F -e robots=off https://example.com

Пояснение параметров:

  • --no-check-certificate
    Игнорирует ошибки SSL-сертификатов (полезно для сайтов с самоподписанными сертификатами).
  • -r (–recursive)
    Рекурсивное скачивание — Wget будет переходить по всем ссылкам на сайте.
  • -k (–convert-links)
    Преобразует абсолютные ссылки в относительные, чтобы страницы работали локально.
  • -p (–page-requisites)
    Скачивает все ресурсы, необходимые для отображения страницы: изображения, CSS-файлы, JavaScript.
  • -E (–adjust-extension)
    Добавляет расширение .html к файлам без явного указания (например, about → about.html).
  • -F (–force-html)
    Обрабатывает входной файл как HTML, даже если у него нет расширения .html.
  • -e robots=off
    Игнорирует правила файла robots.txt (используйте осторожно, чтобы не нарушить политику сайта).

3. Продолжить прерванную загрузку

Если соединение прервалось:

wget -c https://example.com/large-file.iso

Решение частых ошибок

Ошибка: «Невозможно проверить сертификат»
Добавьте параметр –no-check-certificate:

wget --no-check-certificate https://example.com

Ошибка: «wget команда не найдена»

Убедитесь, что Homebrew добавлен в PATH, и переустановите Wget:

brew reinstall wget

Ошибка: «Слишком много запросов» (429)

Увеличьте интервалы между запросами:

wget --wait=5 --limit-rate=200k https://example.com

Полезные советы для работы с Wget

  1. Ограничение скорости
    Чтобы не перегружать сервер:
wget --limit-rate=500k https://example.com/file.zip

2. Скачивание через прокси

wget --proxy-user=user --proxy-password=pass https://example.com

3. Сохранение в конкретную папку

wget -P ~/downloads https://example.com/image.jpg

Wget2: Установка и отличия от Wget

Wget2 это более современная и быстрая версия Wget. Она была разработана как замена Wget и поддерживает многопоточную загрузку, улучшенную производительность и дополнительные возможности.

Как установить Wget2 на macOS через Homebrew:

  1. Откройте терминал.

Убедитесь, что Homebrew установлен. Если его нет, установите с помощью:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. Установите Wget2:

Выполните команду:

brew install wget2

3. Проверьте установленную версию:

После установки введите:

wget2 --version

4. Вызов Wget

Для использования классической версии Wget, вводите команды с префиксом wget:

Для использования Wget2, вводите команды с префиксом wget2:

wget --version
wget2 --version  

Основные отличия Wget2 от Wget:

• Поддержка многопоточности, что делает скачивание быстрее.

• Улучшенная обработка HTTP/2.

• Более точная проверка сертификатов HTTPS.

• Возможность параллельной загрузки.


Теперь вы готовы использовать Wget как профессионал! Если остались вопросы — пишите в комментарии.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Похожие посты