Как работает Архиварикс?

Опубликовано: 2019-11-22

Система Архиварикс предназначена для скачивания и восстановления сайтов - как уже не работающих из Веб Архива, так и живых, находящихся в данный момент онлайн. В этом заключается ее основное отличие от прочих «качалок» и «парсеров сайтов». Задача Архиварикса - не только скачать, но и восстановить сайт в таком виде, в котором его можно будет использовать в дальнейшем на своем сервере.

Начнем с модуля, ответственного за скачивание сайтов из Веб Архива. Это виртуальные серверы, находящиеся в Калифорнии. Место расположения их было выбрано таким образом, чтобы получить максимально возможную скорость соединения с самим Веб Архивом, сервера которого расположены в Сан-Франциско. После ввода данных в соответствующих полях на странице модуля https://ru.archivarix.com/restore/ он делает скриншот архивного сайта и обращается к API Веб Архива с запросом списка файлов, содержащихся на указанную дату восстановления.

Получив ответ на запрос, система формирует письмо с анализом полученных данных. Пользователю остается только нажать кнопку подтверждения в полученном письме и тогда процесс скачивания сайта начнется.

Работа через API Веб Архива дает два преимущества перед скачиванием «в лоб» когда скрипт просто переходит по ссылкам сайта. Во-первых, сразу известны все файлы этого восстановления, можно оценить объем сайта и время, необходимое для его загрузки. Из-за особенностей работы Веб Архива, а он порой работает очень нестабильно, возможны разрывы соединения или неполная загрузка файлов, поэтому алгоритм модуля постоянно проверяет целостность полученных файлов и в подобных случаях пытается докачать контент повторно соединяясь с сервером Веб Архива. Во-вторых, из-за особенностей индексации сайтов Веб Архивом, не на все файлы сайта могут существовать прямые ссылки, а значит при попытке скачать сайт просто следуя по ссылкам они будут недоступны. Поэтому восстановление через API Веб Архива, которое использует Архиварикс, дает возможность восстановить максимально возможное количество контента архивного сайта за указанную дату.

Завершив работу, модуль скачивания из Веб Архива передает данные модулю обработки. Он формирует из полученных файлов сайт, пригодный для установки на Apache или Nginx сервер. Работа сайта основана на использовании SQLite базы данных, так что для начала работы требуется просто загрузить его на ваш сервер, ни каких установок дополнительных модулей, MySQL баз данных и создания пользователей не требуется. Модуль обработки осуществляет оптимизацию собранного сайта, она включает в себя оптимизацию изображений, а так же сжатие CSS и JS. Это может дать существенное увеличение скорости загрузки восстановленного сайта, по сравнению с оригинальным. Скорость загрузки некоторых неоптимизированных Wordpress сайтов с кучей плагинов и с несжатыми медиафайлами, после обработки этим модулем может возрасти многократно. Но, конечно, если сайт был оптимизирован изначально, большого прироста скорости загрузки это не даст.

Удаление рекламы, счетчиков и аналитики модуль обработки осуществляет путем проверки полученных файлов по обширной базе рекламных провайдеров и сборщиков аналитики. Удаление внешних ссылок и кликабельных контактов происходит просто по сигнатуре этого кода. В целом, очистка сайта от «следов предыдущего владельца» алгоритм проводит довольно эффективно, хотя порой это не исключает необходимость чего-либо подправить вручную. К примеру, самописный Java скрипт перенаправляющий, при определенных условиях, пользователей сайта на некую площадку монетизации, алгоритмом обнаружен не будет. Также порой необходимо добавить отсутствующие картинки либо удалить ненужный мусор, на подобие заспамленной гостевой книги. Поэтому возникает необходимость в редакторе полученного сайта. И он есть – это Archivarix CMS.

Это простая и компактная CMS, предназначенная для редактирования сайтов, созданных системой Архиварикс. Она дает возможность осуществлять поиск и замену кода по всему сайту с использованием регулярных выражений, редактирование контента в WYSIWYG редакторе, добавление новых страниц и файлов. Archivarix CMS может работать совместно с любой другой CMS на одном сайте.

Теперь опишем другой модуль системы – скачивание существующих сайтов. В отличие от модуля скачивания сайтов из Веб Архива, тут предугадать сколько и каких файлов надо скачать не получится, поэтому сервера модуля работают совершенно иначе. Паук сервера просто переходит по всем ссылкам, которые находятся на скачиваемом сайте. Для того чтобы скрипт не попал в бесконечный цикл скачки какой-нибудь автогенерируемой страницы максимальная глубина ссылок ограничена десятью кликами. А максимальное количество файлов, которые могут быть скачены с сайта должно быть указано заранее.

Для наиболее полного выкачивания именно того контента, который вам необходим придумано несколько фишек этого модуля. Можно выбрать различный User-Agent пауку сервиса – к примеру Chrome Desktop или Googlebot. Реферер для обхода клоакинга – если надо скачать именно то, что видит пользователь, зашедший из поиска, можно установить реферер Гугла, Яндекса или другого сайта. Для защиты от бана по IP можно выбрать скачивание сайта с использованием сети Tor, при этом IP паука сервиса меняется случайным образом в рамках этой сети. Остальные параметры, как, к примеру, оптимизация картинок, чистка рекламы и аналитики аналогичны параметрам модуля скачивания из Веб Архива.

После завершения скачивания сайта контент предается модулю обработки. Его работа в этом месте полностью аналогична работе со скаченным из Веб Архива сайтом, описанным выше.

Еще стоит упомянуть возможность сознания клонов восстановленного либо скаченного сайта. Иногда случается, что при восстановлении были выбраны не те параметры, которые оказались в итоге полезны. Например удаление внешних ссылок было излишним, и некоторые внешние ссылки вам оказались нужны, то не надо запускать скачивание снова. Достаточно на странице вашего восстановления задать новые параметры и запустить пересоздание сайта.

Использование материалов статьи разрешается только при условии размещения ссылки на источник: https://ru.archivarix.com/blog/how-does-it-works/

Как восстанавливать сайты из Веб Архива - archive.org. Часть 1

В этой статье мы расскажем о самом web.archive  и о том, как он работает. Интерфейс веб-архива: инструкция к инструментам Summary, Explore и Site map. В этой статье мы расскажем о самом web.archive  и…

2 месяца назад
Как восстанавливать сайты из Веб Архива - archive.org. Часть 2

Подготовка домена к восстановлению. Создание robots.txt
В прошлой статье мы рассмотрели работу сервиса archive.org, а в этой статье речь пойдет об очень важном этапе восстановления сайта из веб-архи…

2 месяца назад
Как восстанавливать сайты из Веб Архива - archive.org. Часть 3

Выбор ограничения ДО при восстановлении сайтов из веб-архива. Когда домен заканчивается, на сайте может появится заглушка домен-провайдера или хостера. Перейдя на такую страницу, веб-архив будет ее со…

2 месяца назад
Как работает Архиварикс?

Система Архиварикс предназначена для скачивания и восстановления сайтов - как уже не работающих из Веб Архива, так и живых, находящихся в данный момент онлайн. В этом заключается ее основное отличие о…

2 месяца назад
Как перенести контент из web.archive.org на Wordpress?

С помошью параметра "Извлечение структурированного контента" можно очень просто сделать Wordpress блог как из сайта, найденного в Веб Архиве, так и из любого другого сайта. Для этого находим сайт-исто…

1 месяц назад
Как спрятать от конкурентов обратные ссылки?

Известно, что анализ обратных ссылок конкурентов является важной частью работы СЕО оптимизатора. Если вы делаете сетку PBN блогов, то возможно вам не особо хотелось чтобы другие вебмастера знали, где …

1 месяц назад
Как восстановить удаленные видео с YouTube?

Иногда вы можете увидеть это сообщение «Видео недоступно» на Youtube. Обычно это означает, что Youtube удалил это видео со своего сервера. Но есть простой способ, как получить его из Archive.org. Для …

1 месяц назад
Как скачать сайт целиком из кэша Google?

Если нужный вам сайт был недавно удален, но Archive.org не сохранил последнюю версию, что можно сделать, чтобы получить его контент? Google Cache поможет это сделать. Все, что вам нужно, это установит…

3 недели назад
Аналоги web.archive.org. Как найти удаленные сайты?

Веб Архив ( Archive.org) - самый известный и самый большой архив сайтов в мире. На их серверах сейчас находится более 400 миллиардов страниц. Существуют ли какие-либо системы, аналогичные Archive.org?…

4 дня назад
Последние новости:
2019.01.07
Очередное обновление Archivarix CMS с добавлением нового функционала. Теперь любой старый сайт можно корректно переконвертировать в UTF-8 нажатием одной кнопки. Фильтрация в поиске стала ещё лучше, т.к. теперь результаты можно фильтровать и по MIME-типу.
2019.12.20
Мы выпустили долгожданное обновление Archivarix CMS. В новой версии кроме различным улучшений и оптимизаций появилась очень полезный фукнционал дополнительной фильтрации результатов поиска и полная поддержка древовидной структуры URLs для восстановлений с большим количеством файлов. Более детально можно посмотреть в логе изменений скрипта Archivarix CMS.
2019.11.27
Выпущен наш плагин Archivarix External Images Importer. Плагин импортирует изображения со сторонних веб-сайтов, ссылки на которые расположены в постах и ​​страницах, в галерею WordPress. Если изображение в данный момент недоступно или удалено, плагин загружает его копию из веб-архива.
2019.11.20
Мы добавили новый раздел нашего сайта - Archivarix Blog. Там вы можете прочитать полезную информацию о работе нашей системы и о восстановлении сайтов из Archive.org.
2019.10.02
Недавно наша система была обновлена, и теперь у нас есть две новые опции:
- Вы можете скачать сайты Darknet .onion. Просто введите адрес веб-сайта .onion в поле Домен, и наша система загрузит его из сети Tor, как обычный веб-сайт.
- Контент экстрактор. Archivarix может не только загружать существующие сайты или восстанавливать их из веб-архива, но также может извлекать содержимое из них. В поле «Продвинутые параметры» необходимо выбрать «Извлечь структурированный контент». После этого вы получите полный архив всего сайта и архив статей в форматах xml, csv, wxr и json. При создании архива статей наш парсер учитывает только содержательный контент, исключая дубликаты статей, элементы дизайна, меню, рекламу и другие нежелательные элементы.