Как защитить сайт от скрапинга и фишинга
Как защитить сайт от скрапинга и фишинга: полное руководство для вебмастеров (2026)
🔍 Почему это важно?
Скрапинг (автоматическое копирование контента) и фишинг (создание поддельных копий сайта для кражи данных) — две самых разрушительных угрозы для веб-ресурсов.
- Скрапинг крадёт товары, цены, отзывы, статьи — и перепродает их на конкурентных сайтах, снижая ваш трафик и SEO-позиции.
- Фишинг создает зеркала вашего сайта с целью украсть пароли, данные карт, логины пользователей — и наносит непоправимый ущерб репутации.
📊 Статистика 2025–2026 (Source: Kaspersky, Sucuri):
- 68% сайтов на WordPress подвергаются попыткам скрапинга ежедневно.
- 42% фишинговых атак направлены на сайты с формами входа и оплаты.
- Google может заблокировать сайт за фишинг — даже если вы не виноваты, но ваш домен использовали злоумышленники.
🛡️ Часть 1: Защита от скрапинга
✅ 1. Ограничьте доступ ботов через robots.txt (но не полагайтесь только на него!)
User-agent: *
Disallow: /search/
Disallow: /cart/
Disallow: /account/
Disallow: /wp-admin/
⚠️ Важно:
robots.txt— это вежливая просьба, а не защита. Злоумышленники его игнорируют. Используйте как первый уровень.
✅ 2. Внедрите CAPTCHA и hCaptcha (вместо reCAPTCHA v3)
- hCaptcha — менее агрессивен для пользователей, лучше защищает от AI-ботов.
- Используйте invisible CAPTCHA на формах поиска, регистрации, отправки комментариев.
- Для API-запросов — reCAPTCHA Enterprise (платный, но с AI-анализом поведения).
✅ 3. Ограничьте частоту запросов (Rate Limiting)
Настройте лимиты на сервере:
- Nginx:
limit_req_zone $binary_remote_addr zone=api_limit:10m rate=10r/s; location /api/ { limit_req zone=api_limit burst=20 nodelay; } - Cloudflare: Включите Rate Limiting Rules (до 100 запросов/мин с одного IP).
- WooCommerce / WordPress: Плагины Wordfence, iThemes Security.
✅ 4. Блокируйте подозрительные User-Agent и IP
Создайте черный список:
- Боты:
python-requests,Scrapy,Apache-HttpClient,MJ12bot,AhrefsBot(если не используете их). - IP-адреса из известных сетей скрапинга (например, AWS, Azure, прокси-сети).
🔧 Используйте Cloudflare Firewall Rules или ModSecurity для блокировки по User-Agent.
✅ 5. Динамическая подмена контента
- Для скраперов, которые не запускают JS — возвращайте пустые или фейковые данные.
- Пример: при обнаружении бота — возвращайте
403 Forbiddenили200 OKс фейковыми ценами. - Инструмент: jаvascript-фреймворки (React, Vue) + SSR-защита.
✅ 6. Следите за дублями контента
Используйте:
- Copyscape, Siteliner, Google Search Console → Coverage → Duplicate.
- Если контент украден — отправьте DMCA-заявку на хостинг и Google.
🎭 Часть 2: Защита от фишинга
✅ 1. Зарегистрируйте домены-дубликаты (Typosquatting)
Зарегистрируйте распространённые опечатки вашего домена:
вашсайт.рф,вашсайт.com,вашсайт.net,ваш-сайт.рф,вашсайт.org
💡 Пример: если ваш сайт —
shop-nike.ru, купитеshopnike.ru,nike-shop.ru,shop-nike.net.
✅ 2. Включите DMARC, SPF, DKIM для email
Фишинг часто использует поддельные письма от вашего домена.
Настройте в DNS:
- SPF:
v=spf1 include:spf.mail.ru ~all - DKIM: подпись от вашего почтового сервиса
- DMARC:
v=DMARC1; p=quarantine; rua=mailto:admin@вашсайт.ru
✅ Проверить на: dmarcian.com
✅ 3. Используйте HSTS и SSL-сертификаты
- Обязательно включите HTTPS и HSTS (HTTP Strict Transport Security).
- Установите EV-SSL (если продаете товары) — в браузере появляется зеленая строка с названием компании.
✅ 4. Мониторинг фишинговых страниц
- Google Safe Browsing — подключите через Search Console.
- PhishTank, URLScan.io, VirusTotal — регулярно проверяйте домены похожие на ваш.
- Используйте сервисы: BrandShield, CyberInt, Fortinet — для автоматического обнаружения.
✅ 5. Добавьте «Официальный сайт» в footer
На всех страницах:
«Официальный сайт: https://вашсайт.ru — не доверяйте сайтам с похожими названиями.»
✅ 6. Уведомляйте пользователей
Если пользователь попал на поддельную страницу — используйте jаvascript-предупреждение:
if (window.location.hostname !== 'вашсайт.ru') {
alert('⚠️ ВНИМАНИЕ: Вы находитесь на поддельной странице. Вернитесь на официальный сайт: https://вашсайт.ru');
}
📊 Часть 3: Регулярный аудит — как проверить, что всё работает?
| Проверка | Инструмент |
|---|---|
| Скрапинг-боты в логах | grep -i "python-requests" /var/log/nginx/access.log |
| Подозрительные IP | whois + AbuseIPDB |
| Фишинг-домены | Google Safe Browsing |
| Копии контента | Copyscape |
| SSL-безопасность | SSL Labs |
| Защита от ботов | Cloudflare Radar |
💡 Бонус: 3 бесплатных инструмента для защиты
| Инструмент | Для чего |
|---|---|
| Cloudflare Free Plan | WAF, Rate Limiting, DDoS, CDN, CAPTCHA |
| Wordfence (WordPress) | Скрапинг-блокировка, firewall, мониторинг файлов |
| Google Search Console | Уведомления о фишинге, дублях, санкциях |
✅ Итог: Чек-лист защиты (2026)
| Задача | Сделано? |
|---|---|
| Включить HTTPS + HSTS | ☐ |
| Настроить SPF/DKIM/DMARC | ☐ |
| Установить Cloudflare или аналог | ☐ |
| Включить Rate Limiting | ☐ |
| Добавить CAPTCHA на формы | ☐ |
| Зарегистрировать домены-дубликаты | ☐ |
| Настроить мониторинг фишинга | ☐ |
| Проверить дубли контента | ☐ |
| Добавить предупреждение на сайте | ☐ |
| Обновить плагины и CMS | ☐ |
🔚 Заключение
Защита от скрапинга и фишинга — не разовая задача, а постоянная культура безопасности.
Сегодняшние методы защиты — это не только технические настройки, но и осознанность владельца сайта.
🔐 Правило №1: Не доверяйте ботам.
🔐 Правило №2: Если что-то выглядит как ваш сайт — проверяйте URL.
🔐 Правило №3: Мониторьте, а не ждите, пока всё сломается.
Сохраните эту статью. Поделитесь с коллегами. Защитите свой сайт — пока не стало поздно.