Wget — это удобная утилита для работы с веб-контентом через командную строку. Она позволяет скачивать отдельные файлы, веб-страницы и даже целые сайты. Благодаря поддержке разных протоколов и гибким настройкам Wget становится незаменимым инструментом для разработчиков, системных администраторов и всех, кто регулярно работает с данными из интернета.
В этой статье вы узнаете, как установить Wget на Mac с процессором M1, настроить его и эффективно использовать команды для загрузки данных. Мы также разберем основные ошибки и их решение, чтобы сделать вашу работу с утилитой максимально простой и продуктивной.
Установка Wget на Mac
Шаг 1. Установите Homebrew
Homebrew — это менеджер пакетов для macOS, который упрощает установку программ. Если он у вас уже есть, переходите к следующему шагу.
- Откройте Терминал (через Spotlight или Finder → Приложения → Утилиты).
- Введите команду:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
3. Следуйте инструкциям на экране.
Важно для M1: После установки добавьте Homebrew в переменную ‘PATH‘:
echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zshrc
source ~/.zshrc
Шаг 2. Установите Wget
Введите в Терминале:
brew install wget
Проверка работоспособности Wget
Чтобы убедиться, что Wget установлен корректно, выполните:
wget --version
Вывод должен содержать информацию о версии, например: GNU Wget 1.21.3 built on darwin22.1.0.
Если возникает ошибка «wget команда не найдена», проверьте, добавлен ли Homebrew в ‘PATH‘ (см. Шаг 1).
Основные команды Wget: примеры использования
1. Скачать файл через Wget
wget https://example.com/file.zip
Файл сохранится в текущей директории.
2. Скачать сайт целиком
Для создания локальной копии сайта используйте:
wget --mirror \
--convert-links \
--adjust-extension \
--page-requisites \
--no-parent \
--domains example.com \
-P ~/website-copy \
https://example.com
- –mirror — режим зеркалирования (скачивает все связанные страницы).
- –convert-links — преобразует ссылки для локального просмотра.
- –domains — ограничивает загрузку указанным доменом.
2.1 Команда для продвинутого скачивания сайта
Если вы хотите скачать сайт с максимальным охватом файлов и обходом ограничений, используйте:
wget --no-check-certificate -r -k -p -E -F -e robots=off https://example.com
Пояснение параметров:
--no-check-certificate
Игнорирует ошибки SSL-сертификатов (полезно для сайтов с самоподписанными сертификатами).-r
(–recursive)
Рекурсивное скачивание — Wget будет переходить по всем ссылкам на сайте.-k
(–convert-links)
Преобразует абсолютные ссылки в относительные, чтобы страницы работали локально.-p
(–page-requisites)
Скачивает все ресурсы, необходимые для отображения страницы: изображения, CSS-файлы, JavaScript.-E
(–adjust-extension)
Добавляет расширение.html
к файлам без явного указания (например,about
→about.html
).-F
(–force-html)
Обрабатывает входной файл как HTML, даже если у него нет расширения.html
.-e robots=off
Игнорирует правила файлаrobots.txt
(используйте осторожно, чтобы не нарушить политику сайта).
3. Продолжить прерванную загрузку
Если соединение прервалось:
wget -c https://example.com/large-file.iso
Решение частых ошибок
Ошибка: «Невозможно проверить сертификат»
Добавьте параметр –no-check-certificate:
wget --no-check-certificate https://example.com
Ошибка: «wget команда не найдена»
Убедитесь, что Homebrew добавлен в PATH
, и переустановите Wget:
brew reinstall wget
Ошибка: «Слишком много запросов» (429)
Увеличьте интервалы между запросами:
wget --wait=5 --limit-rate=200k https://example.com
Полезные советы для работы с Wget
- Ограничение скорости
Чтобы не перегружать сервер:
wget --limit-rate=500k https://example.com/file.zip
2. Скачивание через прокси
wget --proxy-user=user --proxy-password=pass https://example.com
3. Сохранение в конкретную папку
wget -P ~/downloads https://example.com/image.jpg
Wget2: Установка и отличия от Wget
Wget2 это более современная и быстрая версия Wget. Она была разработана как замена Wget и поддерживает многопоточную загрузку, улучшенную производительность и дополнительные возможности.
Как установить Wget2 на macOS через Homebrew:
- Откройте терминал.
Убедитесь, что Homebrew установлен. Если его нет, установите с помощью:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
2. Установите Wget2:
Выполните команду:
brew install wget2
3. Проверьте установленную версию:
После установки введите:
wget2 --version
4. Вызов Wget
Для использования классической версии Wget, вводите команды с префиксом wget
:
Для использования Wget2, вводите команды с префиксом wget2
:
wget --version
wget2 --version
Основные отличия Wget2 от Wget:
• Поддержка многопоточности, что делает скачивание быстрее.
• Улучшенная обработка HTTP/2.
• Более точная проверка сертификатов HTTPS.
• Возможность параллельной загрузки.
Теперь вы готовы использовать Wget как профессионал! Если остались вопросы — пишите в комментарии.