mirzaev/yii2-dumper
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Доработка [issue #1]

Browse Source
This commit is contained in:
RedHood
2020-09-17 00:32:33 +10:00
parent dc5b301adf
commit 1d4f5d270a
5 changed files with 47 additions and 100 deletions
Download Patch File Download Diff File Expand all files Collapse all files

797
Dumper.php Normal file
View File

@@ -0,0 +1,797 @@
<?php
namespace app;
use DateTime;
use Yii;
use linslin\yii2\curl\Curl;
/**
* Модель для выгрузки страниц в автономное хранилище
*
* Позволяет скачивать, сохранять и оптимизировать под нужную архитектуру
*
* @method download(string $link, int $depth = 0, int $buffer = 0, bool $searchExternal = false) Скачивает страницу
* @method save() Сохраняет скачанные страницы на диск
* @method saveStatistics() Сохранение статистики
* @method convertLinks(array $links = null) Конвертер ссылок
* @method convertFiles(array $files = null) Конвертер страниц
* @method filterLink(string $link) Фильтрация ссылки
*
* @author Арсен Мирзаев red@hood.su
*
* @todo
* 1. $searchExternal переделать в $depthExterntal
* 2. Исправить обработку ссылки: zakupki.gov.ru/data/common-info.html?regNumber=0816500000619001511
* 4. Конструкцию <base> надо доработать на проверку уже существующего тега
*/
class Dumper extends \yii\base\Component
{
/**
* Глубина поиска страниц относительно первичной
*/
protected $depth = 0;
/**
* Буфер страниц для скачивания
*/
protected $buffer;
/**
* Флаг форсированного выполнения (перезаписи файлов)
*/
protected $force;
/**
* Путь для сохранения файлов
*/
protected $path;
/**
* Буфер страниц для скачивания
*/
protected $searchExternal;
/**
* Регистр обработанных ссылок
*
* 'Ссылка' => [
* [0] => 'URN файла'
* [1] => 'URL файла'
* [2] => 'URI файла для конвертации страниц'
* ]
*/
protected $links = [];
/**
* Буфер скачанных файлов
*
* 'Файл (URN)' => [
* [0] => 'Тип'
* [1] => 'Данные'
* ]
*
* Типы:
* [0] - HTML страница
* [1] - документ ('.css', '.js', '.png'...)
*/
protected $filesBuffer = [];
/**
* Регистр сохранённых файлов
*
* 'Файл (URN)' => [
* [0] => 'Тип'
* [1] => 'Данные'
* ]
*
* Типы:
* [0] - HTML страница
* [1] - документ ('.css', '.js', '.png'...)
*/
protected $files = [];
/**
* Блокировка циклов
*
* Указывает работает основное скачивание или рекурсивное
*/
protected $subdownload = false;
/**
* Количество новых найденных ссылок
*/
protected $linksNew = 0;
/**
* Запрашиваемая ссылка
*/
protected $target;
/**
* SCHEME/PROTOCOL запроса
*/
public $connectionProtocol;
/**
* HOST запроса
*/
public $connectionHost;
/**
* Собранная информация о выполнении
*
* [0] => 'Запрошенный URI'
* [1] => 'Статус выполнения (завершен или ошибка)'
* [2] => [
* [0] => 'Количество найденных ссылок'
* [1] => 'Количество найденных ссылок без дубликатов'
* [2] => 'Количество обработанных ссылок'
* ]
* [3] => [
* [0] => 'Количество найденных HTML страниц'
* [1] => 'Количество конвертированных страниц'
* ]
* [4] => [
* [0] => 'Количество найденных документов (.png, .css, .pdf)'
* [1] => 'удалено'
* [2] => 'Найдено: Изображения',
* [3] => 'Найдено: Видеозаписи',
* [4] => 'Найдено: Аудиозаписи',
* [5] => 'Найдено: CSS',
* [6] => 'Найдено: JS',
* [7] => 'Найдено: Не опознано',
* ]
*/
public $statistics = [
'',
1,
[
0,
0,
0
],
[
0,
0,
0
],
[
0,
0,
0,
0,
0,
0,
0,
0,
]
];
/**
* Время начала выполнения скрипта
*
* Используется для вычисления времени выполнения и записи в статистику
*/
public $timeStart;
public function __construct()
{
// Начало отсчёта синтетического теста времени выполнеия для записи в статистику
$this->timeStart = microtime(true);
// if (YII_DEBUG) {
register_shutdown_function(array(&$this, 'saveStatistics'));
// }
}
/**
* Скачивание страницы
*
* @param string $link Ссылка
* @param int $depth Глубина скачивания вложенных ссылок
* @param int $buffer Буфер файлов
* @param bool $force Флаг форсированного выполнения (с перезаписью существующих файлов)
* @param string $path Свой путь для сохранения
* @param bool $searchExternal Флаг поиска ссылок во внешних сайтах
*
* @return Dump
*/
public function download($link, $depth = 0, $buffer = 0, $force = false, $searchExternal = false, $path = '')
{
if (!$link = $this->filterLink($link)) {
// Если ссылка не прошла фильтрацию
return;
}
// Инициализация свойств
if (!isset($this->buffer)) {
$this->buffer = $buffer;
}
if (!isset($this->force)) {
$this->force = $force;
}
if (!isset(Yii::$app->params['basePath'])) {
Yii::$app->params['basePath'] = $path;
}
if (!isset($this->searchExternal)) {
$this->searchExternal = $searchExternal;
}
if (!isset($this->connectionProtocol)) {
// Проверка наличия domain.zone в ссылке на подобие: 'https://domain.zone/foo/bar'
preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $link, $linkMatch);
$this->connectionProtocol = $linkMatch[1][0] ?? $_SERVER['REQUEST_SCHEME'] ?? $_SERVER['HTTP_X_FORWARDED_PROTO'] ?? 'http';
}
if (!isset($this->connectionHost)) {
// Проверка наличия domain.zone в ссылке на подобие: 'https://domain.zone/foo/bar'
preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $link, $linkMatch);
// Проверка наличия domain.zone в ссылке на подобие: 'domain.zone/' или 'domain.zone' или 'subdomain.domain.zone'
preg_match_all('/^([^\\\|\/|\\s]+\.[^\\\|\/|\\s]+)(\\\|\/)?$/', $link, $domainMatch);
$this->connectionHost = $linkMatch[3][0] ?? $domainMatch[1][0] ?? $_SERVER['REQUEST_HOST'] ?? $_SERVER['HTTP_HOST'] ?? '127.0.0.1';
}
// Обработка буфера (это весь его код)
if (count($this->filesBuffer) >= $this->buffer) {
$this->save();
}
// Если скачивание является первым (ручной запрос)
if (!isset($this->target)) {
// Инициализация стартовой ссылки
$this->target = $link;
// Добавление стартовой ссылки в регистр
array_unshift($this->links, $link);
// Инициализация данных для статистики
$this->statistics[0] = $this->target;
$this->statistics[2][1] = 1;
} else if ($this->subdownload && $depth === 0) {
// Иначе если это дополнительное скачивание и глубина равна нулю
$this->linksNew++;
// Добавление стартовой ссылки в регистр
array_unshift($this->links, $link);
}
// Обработка стартовой ссылки
if (isset($this->target)) {
// Внимание: $targetMatch не очищается и используется в коде ниже
preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $this->target, $targetMatch);
}
if (preg_match('/^[^\/|\\\]+\..+$/', $link)) {
// Паттерн: 'domain.zone', 'domain.zone/foo/bar/index.html'
$request = ($this->connectionProtocol ?? 'http') . '://' . $link;
} else if (preg_match_all('/(^http.*(\/\/|\\\\)|^(\/\/|\\\\))(.*)(\/|\\\|$)(.*$)/iU', $link, $match)) {
// Паттерн: 'https://domain.zone/foo/index.html', '//domain.zone/foo'
$request = ($this->connectionProtocol ?? 'http') . '://' . $match[4][0] . '/' . $match[6][0];
} else if (preg_match('/(^\/[^\/\\\\\s]+[^\s]*$|^\\\[^\/\\\\\s]+[^\\s]*$|^\/$|^\\\$)/', $link)) {
// Паттерн: '/', '/foo/bar', '/foo/bar/index.html'
$request = ($this->connectionProtocol ?? 'http') . '://' . ($targetMatch[3][0] ?? $this->connectionHost) . $link;
} else if (preg_match('/(^[^\/\\\\\s\.]+(\/|\\\|$)([^\/\\\\\s]*$|[^\/\\\\\s]+(\/|\\\).*))/', $link)) {
// Паттерн: 'foo/index.html', 'foo/bar/index.html', 'foo', 'foo/'
$request = ($this->connectionProtocol ?? 'http') . '://' . ($targetMatch[3][0] ?? $this->connectionHost) . '/' . $link;
} else {
unset($this->links[$link]);
return $this;
}
unset($match); // Очистка на всякий случай, так как переменные остаются
// Выполнение запроса
$this->filesBuffer[$link][1] = (new Curl())->setOption(CURLOPT_RETURNTRANSFER, true)
->setOption(CURLOPT_FOLLOWLOCATION, true)
->setOption(CURLOPT_SSL_VERIFYPEER, true)
->setOption(CURLOPT_USERAGENT, Yii::$app->params['useragent'])
->get($request);
if (preg_match('/(https?:(\/\/|\\\\).+(\/|\\\).+|^(\/|\\\).+)(\.(?!php|htm)[A-z0-9]+)[^\/\\\s]*$/i', $link)) {
// Если ссылка является документом ('.css', '.js', '.png'...)
$this->filesBuffer[$link][0] = 1;
} else {
// Иначе расценивается как HTML страница для продолжения поиска
preg_match_all('/(.*)?:?(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $link, $linkMatch);
// Если это внутренний URL или domain.zone цели сходится с domain.zone обрабатываемой ссылки или есть разрешение на проход внешних ссылок
if (empty($linkMatch[3][0]) || $targetMatch[3][0] === $linkMatch[3][0] || $this->searchExternal === true) {
$this->filesBuffer[$link][0] = 0;
$file = $this->filesBuffer[$link][1];
} else {
$this->filesBuffer[$link][0] = 0;
}
}
unset($targetMatch, $linkMatch, $link); // Очистка на всякий случай, так как переменные остаются
// Извлечение ссылок из страницы по свойствам href='' и src=''
// Единственное место где добавляются найденные ссылки
if (!empty($file) && $depth > 0 && preg_match_all('/(href|src)\\s?=\\s*[\"\']?((?!(\"|\'))(?!tel)(?!mailto)[^\"\']+)[\"\']/i', $file, $match)) {
// Если файл скачан, глубина больше нуля и были найдены ссылки
// Прибавление количества новых ссылок для обработки
$this->linksNew += count($match[2]);
// Прибавление количества новых ссылок для вывода в статистике
$this->statistics[2][0] += count($match[2]);
// Добавление ссылок в общий регистр
foreach ($match[2] as $link) {
if (!$link = $this->filterLink($link)) {
// Если ссылка не прошла фильтрацию
continue;
}
array_unshift($this->links, $link);
}
}
unset($link, $file, $match); // Очистка на всякий случай, так как переменные остаются
// Конвертация ссылок
if (isset($this->links) && $this->linksNew) {
// Если глубина больше ноля, ссылки существуют и счетчик новых ссылок больше ноля
$this->convertLinks();
}
if (!$this->subdownload) {
// Если это не дополнительное скачивание и текущая глубина не равна нулю
// Устанавливается для того, чтобы работать в цикле
$this->depth = $depth;
// Скачиваем найденные страницы по установленной глубине поиска
while ($this->depth-- > 0) {
foreach ($this->links as $link => $type) {
$this->subdownload = true;
$this->download($link, $this->depth);
$this->subdownload = false;
}
$this->convertFiles($this->save(), true);
}
unset($link, $type);
}
// Сохранение остатков ссылок после обработки
$this->save();
// Конвертация сохранённых файлов
$this->convertFiles();
return $this;
}
/**
* Сохранение страницы
*
* Получает на вход файлы из буфера и сохраняет на диске
* На выходе будут перенесены в массив $this->files
*
* @return array
*/
public function save($files = null)
{
if (empty($files)) {
$files = &$this->filesBuffer;
}
if (isset($this->links)) {
$this->convertLinks();
}
$savedFiles = [];
foreach ($files as $link => $file) {
if (!empty($this->links[$link][1]) && !preg_match('/^(\/|\\\)/', $this->links[$link][1])) {
// Если в начале ссылки нет слеша и ссылка не, то добавить слеш
$this->links[$link][1] = '/' . $this->links[$link][1];
}
// Проверка существования каталога и его создание
if (!file_exists(Yii::$app->params['basePath'] . $this->links[$link][1])) {
mkdir(Yii::$app->params['basePath'] . $this->links[$link][1], 0755, true);
}
// Сохранение файла
if (!file_exists(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0]) || $this->force) {
if (file_put_contents(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0], $file[1])) {
$this->files[$link][0] = $file[0];
$this->files[$link][1] = $file[1];
}
}
$savedFiles[$link] = $files[$link];
unset($files[$link]);
}
unset($link, $file); // Очистка на всякий случай, так как переменные остаются
// Указание сборщику статистики, что парсер успешно завершил свою работу
$this->statistics[1] = 0;
return $savedFiles;
}
/**
* Сохранить статистику
*
* Возвращает статус сохранения (true/false)
*
* @return bool
*/
public function saveStatistics()
{
// Запись времени окончания работы скрипта
$timeFinish = microtime(true);
$i = new DateTime(Yii::$app->params['timezone'] ?? 'Europe/Moscow');
$date = date_format($i, 'Y-m-d');
$dateFull = date_format($i, 'Y.m.d H:i:s');
$request = $this->statistics[0] ?? 'Ошибка';
$time = ($timeFinish - $this->timeStart) ?? 'Ошибка';
$status = $this->statistics[1] === 0 ? 'Успех' : 'Ошибка';
$linksCount = $this->statistics[2][0] ?? 'Ошибка';
$linksProcessed = $this->statistics[2][1] ?? 'Ошибка';
$linksProcessedReal = $this->statistics[2][2] ?? 'Ошибка';
$pagesCount = $this->statistics[3][0] ?? 'Ошибка';
$pagesProcessed = $this->statistics[3][1] ?? 'Ошибка';
$filesCount = $this->statistics[4][0] ?? 'Ошибка';
$imagesCount = $this->statistics[4][2] ?? 'Ошибка';
$videosCount = $this->statistics[4][3] ?? 'Ошибка';
$audiosCount = $this->statistics[4][4] ?? 'Ошибка';
$cssCount = $this->statistics[4][5] ?? 'Ошибка';
$jsCount = $this->statistics[4][6] ?? 'Ошибка';
$unidentifiedCount = $this->statistics[4][7] ?? 'Ошибка';
if (!file_exists(Yii::getAlias('@runtime/logs'))) {
mkdir(Yii::getAlias('@runtime/logs'), 0755, true);
}
$file = fopen(Yii::getAlias('@runtime/logs') . '/' . $date . uniqid('_DUMPER_', true) . '.log', 'a+');
fwrite($file, <<<EOT
///////////////////////////////////////////////////////////
/// Статистика выполнения ///
///////////////////////////////////////////////////////////
Дата: $dateFull
Запрос: $request
Время выполнения: $time секунд
Статус выполнения: $status
///////////////////////////////////////////////////////////
Найдено ссылок: $linksCount
Обработано ссылок: $linksProcessed
Из них без дубликатов: $linksProcessedReal
//////////////////////////////////////////////////////////
Найдено страниц: $pagesCount
Конвертировано страниц: $pagesProcessed
///////////////////////////////////////////////////////////
Найдено документов: $filesCount
Изображения: $imagesCount
Видеозаписи: $videosCount
Аудиозаписи: $audiosCount
CSS скрипты: $cssCount
JS скрипты: $jsCount
Не опознано: $unidentifiedCount
///////////////////////////////////////////////////////////
EOT
);
fclose($file);
unset($i, $date, $dateFull, $file); // Очистка на всякий случай, так как переменные остаются
}
/**
* Конвертер ссылок
*
* Приводит ссылки к заданному архитектурой виду
*
* @return array
*/
private function convertLinks($links = null)
{
if (empty($links)) {
$links = &$this->links;
}
while ($this->linksNew >= 0) {
// Инициализация ссылки и копии для будущего поиска в файлах
if (!array_key_exists($this->linksNew, $links)) {
// Подготовка к следующей итерации цикла
$this->linksNew--;
continue;
}
$link = $rawLink = $links[$this->linksNew];
if (is_array($link)) {
// Если это уже конвертированная ссылка
continue;
}
$uri = $this->initLink($link);
preg_match_all('/(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $uri, $uriMatch);
preg_match_all('/(\/\/|\\\\)(.*)((\/|\\\|$).*$)/U', $this->target, $targetMatch);
if ($targetMatch[2][0] === $uriMatch[2][0]) {
$location = '';
} else {
$location = Yii::$app->params['externalLinksPath'] . '/' . $uriMatch[2][0];
}
unset($uriMatch, $targetMatch);
// Инициализация ссылки
if ($uri === $this->target || $uri . '/' === $this->target || $uri === $this->target . '/' || $uri . '\\' === $this->target || $uri === $this->target . '\\' || $uri === '/' || $uri === '\\') {
// Если это первый запуск (запрошенная, главная ссылка)
// Создание ссылки
$links[$rawLink][0] = '/index.html';
$links[$rawLink][1] = '';
$links[$rawLink][2] = '/index.html';
} else if (preg_match('/\\.css/i', $uri)) {
// Если это CSS файл
// Получение последнего каталога (имени файла с расширением), например: '/index.html'
if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
// Создание ссылки
$links[$rawLink][0] = '/' . $file[0][0];
$links[$rawLink][1] = $location . Yii::$app->params['cssPath'];
$links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
}
// Обновление статистики
$this->statistics[4][0]++;
$this->statistics[4][5]++;
} else if (preg_match('/\\.js/i', $uri)) {
// Если это JS файл
// Получение последнего каталога (имени файла с расширением), например: '/index.html'
if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
// Создание ссылки
$links[$rawLink][0] = '/' . $file[0][0];
$links[$rawLink][1] = $location . Yii::$app->params['jsPath'];
$links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
}
// Обновление статистики
$this->statistics[4][0]++;
$this->statistics[4][6]++;
} else if (preg_match('/(\\.png|\\.jpeg|\\.jpg|\\.webp|\\.gif|\\.svg|\\.ico)/i', $uri)) {
// Если это изображение
// Получение последнего каталога (имени файла с расширением), например: '/index.html'
if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
// Создание ссылки
$links[$rawLink][0] = '/' . $file[0][0];
$links[$rawLink][1] = $location . Yii::$app->params['imgPath'];
$links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
}
// Обновление статистики
$this->statistics[4][0]++;
$this->statistics[4][2]++;
} else if (preg_match('/(https?:(\/\/|\\\\).+(\/|\\\).+|^(\/|\\\).+)(\.(?!php|htm)[A-z0-9]+)[^\/\\\s]*$/i', $uri)) {
// Если это неопознанный документ (очень затратное выражение, но по другому никак)
// Получение последнего каталога (имени файла с расширением), например: '/index.html'
if (preg_match_all('/[^\/\\\\\s]+$/', $uri, $file)) {
// Создание ссылки
$links[$rawLink][0] = '/' . $file[0][0];
$links[$rawLink][1] = $location . Yii::$app->params['docsPath'];
$links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
}
// Обновление статистики
$this->statistics[4][0]++;
$this->statistics[4][7]++;
} else if (preg_match_all('/(\/\/|\\\\)(.*)((\/|\\|$).*$)/U', $uri, $uriMatch)) {
// Иначе, если это обрабатывается универсально или как HTML документ
if (isset($uriMatch[3][0])) {
// Если есть путь к файлу, например 'https://domain.zone/это/обязательно/index.html'
if (preg_match_all('/^([^\/\\\\\s\.]*[^\\s\.]+)([^\/\\\]*\.html|[^\/\\\]*\.php|[^\/\\\]*\.htm)?$/U', $uriMatch[3][0], $uriSplit)) {
// Если в URI не найден URN (файл с расширением, например: 'index.php')
if (empty($uriSplit[2][0])) {
$uriSplit[2][0] = '/index.html';
}
// Создание ссылки
$links[$rawLink][0] = $uriSplit[2][0];
$links[$rawLink][1] = $location . Yii::$app->params['pagesPath'] . $uriSplit[1][0];
$links[$rawLink][2] = $links[$rawLink][1] . $links[$rawLink][0];
}
} else {
// Иначе обрабатывается как пустая ссылка, например 'https://domain.zone'
// Создание ссылки
$links[$rawLink][0] = '/index.html';
$links[$rawLink][1] = $location . Yii::$app->params['pagesPath'] . '/' . $uriMatch[1][0];
$links[$rawLink][2] = $links[$rawLink][1] . '/index.html';
}
// Прибавление к количеству найденных страниц
$this->statistics[3][0]++;
}
// Удаление обработанной ссылки и оставшихся переменных
unset($links[$this->linksNew], $rawLink, $location, $uriSplit, $match, $file, $uri);
// Прибавление к количеству обработанных ссылок
$this->statistics[2][1]++;
// Подготовка к следующей итерации цикла
$this->linksNew--;
}
// Количество обработанных ссылок без дубликатов
$this->statistics[2][2] = count($this->links);
return $links;
}
/**
* Конвертер страниц
*
* Преобразует ссылки в тексте (HTML документе)
* Возвращает массив не найденных файлов
*
* @param array $files Файлы для конвертации
*
* @return array
*/
private function convertFiles($files = null)
{
if (empty($files)) {
$files = &$this->files;
}
foreach ($files as $link => &$file) {
if ($file[0] === 0 && isset($this->links[$link]) && file_exists(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0]) && $content = file_get_contents(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0])) {
// Если метаданные файла указывают, что он является HTML документом
if (preg_match_all('/(href|src)\\s?=\\s*[\"\']?((?!(\"|\'))(?!tel)(?!mailto)[^\"\']+)[\"\']/i', $content, $match)) {
// Если найдены ссылки
// Конвертация
foreach ($match[2] as $rawLink) {
if (!$rawLink = $this->filterLink($rawLink)) {
// Если ссылка не прошла фильтрацию
continue;
}
if (!array_key_exists($rawLink, $this->links)) {
continue;
}
$content = preg_replace('/(\"|\')' . preg_quote($rawLink, '/') . '(\"|\')/', '".' . $this->links[$rawLink][2] . '"', $content);
}
// Инъекция тега <base> в страницу, чтобы работали относительные пути
if (preg_match_all('/(.*<head>)(.*)/si', $content, $contentMatch)) {
// Если удалось найти <head> в странице
// Определяем вложенность страницы
if (preg_match_all('/([^\\\|\/|\\s]+)/', $this->links[$link][1], $urlMatch)) {
$catalogsDepth = count($urlMatch[1]);
}
$content = $contentMatch[1][0] . "\n<base href=\"" . str_repeat('../', $catalogsDepth ?? 0) . '">'. $contentMatch[2][0];
}
// Сохранение файла
if (file_put_contents(Yii::$app->params['basePath'] . $this->links[$link][1] . $this->links[$link][0], $content)) {
unset($this->files[$link]);
// Прибавление к количеству конвертированных страниц
$this->statistics[3][1]++;
}
}
} else if ($file[0] !== 0) {
// Если файл не является HTML документом
unset($this->files[$link]);
} else {
// Иначе воспринимается как не HTML документ, который не требует конвертацию
continue;
}
}
unset($link, $file); // Очистка на всякий случай, так как переменные остаются
return $files;
}
/**
* Фильтрация ссылки
*
* Перед инициализацией ссылка проверяется фильтрами
*
* @return ?string
*/
private function filterLink($link)
{
// Проверка существования URL в чёрном списке
if (!empty(Yii::$app->params['regBlackList']) && preg_match('/' . Yii::$app->params['regBlackList'] . '/', $link)) {
return null;
}
// Преобразование слешей в Unix стиль, унификация
$link = preg_replace('/\\\/', '/', $link);
return $link;
}
/**
* Инициализация ссылки
*
* Подготовка к конвертации
*
* @return string
*/
private function initLink($link)
{
// Подготовка ссылок перед обработкой
// Разбиение ссылки на каталоги: 'https://domain.zone/foo/bar/index.html' на 'https:', 'domain.zone', 'foo', 'bar', 'index.html'
if (preg_match_all('/([^\\\|\/|\\s]+)/', $link, $uriMatch)) {
// Определение того, что URI является полноценным и имеет протокол подключения, например: 'https:', 'ssh:', 'mail:'
if (preg_match('/^.*:$/', $uriMatch[0][0])) {
$uri = $uriMatch[0][0] . '//' . $uriMatch[0][1];
$uriMatch[0] = array_slice($uriMatch[0], 2);
} else {
$uri = $this->connectionProtocol . ':' . '//' . $this->connectionHost;
}
// Замена всех фрагментов URI от символов, которые Windows не даёт записывать в именах файлов и каталогов на '@'
// На данный момент достаточно заменять все символы на один, так как обратная конвертация не потребуется, а шанс конфликта имён минимален
foreach ($uriMatch[0] as &$piece) {
$piece = preg_replace('/(\\\|\/|\:|\*|\?|\"|\<|\>|\|)/', '@', $piece);
}
unset($piece);
// Сборка новой ссылки из фрагментов оригинальной
foreach ($uriMatch[0] as $piece) {
$uri .= '/' . $piece;
}
unset($piece);
} else if ($link === '/' || $link === '\\') {
// Иначе, если ссылка ведёт на главную страницу сайта
if (!$this->searchExternal) {
$uri = $this->connectionProtocol . ':' . '//' . $this->connectionHost;
}
} else {
// Иначе всё обрабатывается как ссылка на текущего хоста
if (!preg_match('/^(\/|\\\)/', $link)) {
$link = '/' . $link;
}
$link = preg_replace('/(\/|\\\)$/', '', $link);
$uri = $this->connectionProtocol . ':' . '//' . $this->connectionHost . $link;
}
unset($link, $uriMatch, $site);
return $uri;
}
}