diff --git a/README.md b/README.md index b20ab12..8efe7ab 100644 --- a/README.md +++ b/README.md @@ -1,8 +1,8 @@ -# Go Crawler — быстрый краулер/зеркалатор сайта на Go +# RapidMirror — быстрый краулер/зеркалатор сайта на Go Проект делает локальную «зеркальную» копию сайта: обходит страницы, сохраняет HTML на диск и параллельно скачивает ассеты (CSS/JS/картинки/шрифты и т. п.). Для рендеринга страниц используется headless Chrome через `chromedp`, поэтому краулер подходит для сайтов, где контент появляется после выполнения JavaScript. -![Архитектура Go Crawler](docs/images/overview.png) +![Архитектура RapidMirror](docs/images/overview.png) **English summary.** A concurrent Go website mirror for JavaScript-rendered pages, combining isolated chromedp browser workers with a dedicated asset-download pool and deterministic local paths. @@ -134,9 +134,9 @@ var ALLOWED_ORIGINS = []string{ | Проект | Подходит для | Отличительная черта | |---|---|---| -| **Go Crawler** | крупных динамических сайтов | компилируемый Go и раздельные пулы браузеров/ассетов | -| [mirror-forge](https://github.dfv24.com/fofanov.dmitry/mirror-forge) | динамических сайтов и последующего ремонта ссылок | Playwright и отдельная post-processing стадия | -| [DFWebsite_Downloader](https://github.dfv24.com/fofanov.dmitry/DFWebsite_Downloader) | статических и смешанных сайтов | анализ зависимостей HTML/CSS/JS/JSON и отчёт | +| **RapidMirror** | крупных динамических сайтов | компилируемый Go и раздельные пулы браузеров/ассетов | +| [RenderMirror](https://github.dfv24.com/fofanov.dmitry/rendermirror) | динамических сайтов и последующего ремонта ссылок | Playwright и отдельная post-processing стадия | +| [SiteArchive](https://github.dfv24.com/fofanov.dmitry/sitearchive) | статических и смешанных сайтов | анализ зависимостей HTML/CSS/JS/JSON и отчёт | ## Лицензия diff --git a/docs/images/overview.png b/docs/images/overview.png index e2c4bb6..86ad0fb 100644 Binary files a/docs/images/overview.png and b/docs/images/overview.png differ diff --git a/go.mod b/go.mod index 21a5412..1c22227 100644 --- a/go.mod +++ b/go.mod @@ -1,4 +1,4 @@ -module crawler +module github.dfv24.com/fofanov.dmitry/rapidmirror go 1.21