# Go Crawler — быстрый краулер/зеркалатор сайта на Go

Проект делает локальную «зеркальную» копию сайта: обходит страницы, сохраняет HTML на диск и параллельно скачивает ассеты (CSS/JS/картинки/шрифты и т. п.). Для рендеринга страниц используется headless Chrome через `chromedp`, поэтому краулер подходит для сайтов, где контент появляется после выполнения JavaScript.

> Важно: используйте краулер только на сайтах, которые вы имеете право скачивать и архивировать. Учитывайте правила сайта и его ограничения (включая robots.txt и rate limits). Авторизация/капчи/антибот в проекте не реализованы.

## Основные возможности

- **Параллельный обход страниц**: несколько воркеров, каждый со своим экземпляром браузера.
- **Параллельная загрузка ассетов**: отдельные HTTP-воркеры скачивают ресурсы быстрее, чем через браузер.
- **Ограничение по доменам**: скачиваются только URL из `ALLOWED_ORIGINS`.
- **Нормализация URL**: убирается `#fragment`, приводятся относительные ссылки к абсолютным, удаляется хвостовой `/` (кроме корня) — это уменьшает дубли.
- **Дедупликация**: страницы и ассеты не обрабатываются повторно.
- **Сохранение на диск в структуру, похожую на URL**:
  - директории превращаются в `index.html` (например, `/docs/` → `/docs/index.html`),
  - query-параметры хешируются и добавляются к имени файла, чтобы разные варианты URL не перезатирали друг друга.
- **Опциональная «починка» ссылок**: абсолютные ссылки на разрешённые домены переписываются в относительные, чтобы зеркало открывалось локально.
- **Принудительный UTF‑8 meta charset**: чтобы уменьшить проблемы с кодировкой в сохранённых HTML.
- **Корректное завершение** по `Ctrl+C`.

## Требования

- Go 1.21+
- Установленный Chrome/Chromium (используется `chromedp`)

## Быстрый старт

```bash
go mod tidy

# Запуск без сборки
go run .

# Или сборка
go build -o crawler.exe .
./crawler.exe
```

После запуска в консоли будет прогресс вида `[crawled] ...` и итоговая статистика (pages/assets/links fixed/time).

## Конфигурация

Вся конфигурация сейчас задаётся константами в начале файла `crawl.go`.

Ключевые параметры:

```go
const (
    BASE_URL        = "https://rutracker.org/forum/" // Стартовая точка обхода
    OUT_DIR         = "rutracker.org"                // Папка, куда сохраняется зеркало
    MAX_PAGES       = 50000                           // Лимит страниц (защита от бесконечного обхода)
    WORKERS         = 10                              // Кол-во браузеров (воркеров страниц)
    ASSET_WORKERS   = 20                              // Кол-во HTTP-воркеров для ассетов
    WAIT_AFTER_LOAD = 2 * time.Second                 // Пауза после Navigate для прогрузки JS
    REQUEST_TIMEOUT = 30 * time.Second                // Таймаут навигации
    FIX_LINKS       = true                            // Переписывать ссылки на относительные
)

var ALLOWED_ORIGINS = []string{
    "https://rutracker.org",
    "https://www.rutracker.org",
}
```

### Как подобрать `ALLOWED_ORIGINS`

Если сайт грузит ресурсы с CDN/поддоменов, их нужно добавить в `ALLOWED_ORIGINS`, иначе ассеты и ссылки на них будут пропускаться.

### Тюнинг производительности

- Увеличивайте `WORKERS`, если упираетесь в скорость рендеринга страниц (но возрастут CPU/RAM).
- Увеличивайте `ASSET_WORKERS`, если узкое место — скачивание ассетов.
- `WAIT_AFTER_LOAD` критичен для SPA/React/Vue сайтов: слишком маленькое значение даст «пустые» HTML.

## Как это работает (в общих чертах)

1. В `pageQueue` кладётся нормализованный `BASE_URL`.
2. `WORKERS` воркеров берут URL страницы, открывают новую вкладку, делают `Navigate`, ждут `WAIT_AFTER_LOAD`, сохраняют `OuterHTML`.
3. Во время загрузки страницы подписка на `network` события собирает URL ресурсов; «не‑страницы» отправляются в `assetQueue`.
4. HTML парсится регулярками, извлекаются ссылки (`href`, `src`, `data-src`, а также некоторые JSON‑поля вроде `"url"`, `"pathname"`).
5. Если включён `FIX_LINKS`, ссылки на разрешённые домены переписываются в относительные пути на локальные файлы.
6. HTML и ассеты сохраняются в `OUT_DIR` по схеме URL→путь.

## Что считается страницей, а что ассетом

Функция `isPageURL()` относит URL к ассетам по расширению (например, `.js`, `.css`, изображения, шрифты, видео/аудио, `.json`, `.xml`, `.pdf`, архивы). Всё остальное считается страницей и идёт в очередь обхода.

## Архитектура

```
┌─────────────────────────────────────────────────────────────┐
│                           main()                            │
│                                                             │
│  ┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐         │
│  │Worker 1 │  │Worker 2 │  │Worker 3 │  │  ...    │ × WORKERS
│  │(Browser)│  │(Browser)│  │(Browser)│  │(Browser)│         │
│  └────┬────┘  └────┬────┘  └────┬────┘  └────┬────┘         │
│       │            │            │            │               │
│       └────────────┴─────┬──────┴────────────┘               │
│                          │                                   │
│                   pageQueue (chan string)                    │
│                          │                                   │
│       ┌──────────────────┴──────────────────┐               │
│       │                                      │               │
│  ┌────┴────┐  ┌─────────┐  ┌─────────┐  ┌───┴───┐           │
│  │Asset W1 │  │Asset W2 │  │Asset W3 │  │  ...  │ × ASSET_WORKERS
│  │  (HTTP) │  │  (HTTP) │  │  (HTTP) │  │ (HTTP)│           │
│  └─────────┘  └─────────┘  └─────────┘  └───────┘           │
│                          │                                   │
│                 assetQueue (chan AssetRequest)               │
└─────────────────────────────────────────────────────────────┘
```

## Ограничения и нюансы

- **Robots/лимиты**: проект не читает `robots.txt` и не ограничивает частоту запросов тонко. Для «бережного» обхода уменьшайте `WORKERS`/`ASSET_WORKERS` и/или добавляйте задержки (пока это только `WAIT_AFTER_LOAD`).
- **Авторизация и сессии**: нет логина, cookie‑менеджмента, обхода капч/антибота.
- **Полнота зеркала**: ссылки извлекаются регулярками и сетью браузера; динамически генерируемые URL могут быть пропущены.
- **Очень большие сайты**: `MAX_PAGES` — обязательная страховка. Также очереди и карты дедупликации держатся в памяти.
- **Шумный вывод**: есть отладочные строки `[debug] Found ...`, а также `[skip-external]`/`[skip-asset]` — при необходимости их можно убрать/загейтить флагом.

## Типичный сценарий использования

1. Задайте `BASE_URL` и `OUT_DIR`.
2. Заполните `ALLOWED_ORIGINS` (включая поддомены/CDN, если они нужны).
3. Настройте параллельность (`WORKERS`, `ASSET_WORKERS`) и тайминги (`WAIT_AFTER_LOAD`, `REQUEST_TIMEOUT`).
4. Запустите `go run .` и дождитесь `[done] ...`.

## Лицензия

Лицензия в репозитории не указана.