Как стать автором
Обновить

Комментарии 161

«8M предупреждений» — это сколько?
8 000 000
Без скриншотов суховато как-то.
Спасибо за замечание, скриншоты добавили.
Спасибо.
Круто конечно. Спасибо.
Но на мой взгляд тут есть серьезная проблема.
Рано или поздно злоумышленники просто будут подменять файлы Манула и даже возможно появятся трояны, которые смогут при заливке на сервер изменять код Манула на лету.

Я давно хочу сделать похожий софт, который будет работать на локальной машине и по ssh проверять сервер, файлы, настройки сервисов, логи и т.д. + делать бейкап. Жалко только, что за такой софт денег не платят.
Ну, на самом деле, в качестве упорина — можно взять этот же manull + sshfs :)
Я просто хочу полноценный и крутой инструмент. А у Яндекса есть ресурсы для создания такого, так почему бы и нет. Думаю пользовались бы практически все.

Минусующие вероятно сочли меня параноиком. Скажу только, что вы совсем мало понимаете в том, что умеет софт, который сейчас автоматически заражает сайты.
Хоть я и не минусовал, но утверждение о непонимании — весьма «агульное». Я, например, как CTO ППР — вполне прекрасно это представляю.
// более того, кстати, оно умеет и ssh пользоваться с заражённых вендомашин и даже использовать для этого найденные ключи.
У нас так через одного программиста, который долго сопротивлялся использованию git'а и еле-еле «уговорился» на sftp вместо ftp, было дело перебекдорили все джумлы (благо, это в основном были «сторонние» дружественные проекты), вордпрессы и немного друпалы :)

// P.S. и да, у меня баттхёрт от вордпрессов джумл и друпалов, используемых на сервисах, при том, что требования «хайлодные». Но я не знаю, что можно сделать в условиях отсутствия финансирования и нежелания редакторского «персонала» обучаться хотя бы маркдауну…
Вас лично обидеть не хотел, никого не хотел обидеть, просто я за дискуссию, а когда негативно относятся и игнорируют — я не понимаю этого совсем.

Не вижу ничего страшного, в том что бы давать opensource софту свой пароль к серверу, если вы об этом. Но понятное дело, что сохранять пароли и использовать на обычном, «домашнем» компьютере такой софт конечно опасно.

P.S. Если уж пользуетесь такими редкими терминами в общении, хотя бы пишите их правильно.
Простите :) Я повёлся на белорусские «корни» и при написании руководствовался любимой маминой фразой «аґульная млявасць и абыякавасть да жицця» (не гарантирую орфографическую правильность написания даже с точки зрения белорусского языка, ибо я в нём read-only) и совсем не подумал, что это панславянское слово :)
Ограничение «платят / не платят» находится исключительно в голове
Фраза звучит круто, но смысла не имеет. Вы книги случаем не пишите?
2 уже давно издал. Но там про скорость сайтов, не про образ мышления.

Когда Вы сделаете бизнес с оборотом хотя бы 10М, то меня поймете.
Поэтому я и не люблю нынешние книги. Пишут ради количества слов, а смысла или совсем нет или очень мало.

Может быть, вы все же выделите немного своего времени и поделитесь со мной в более простой форме, что хотели этим сказать.
Я далек до вашего уровня с такими оборотами бизнеса, но очень уж интересно проследить логическую связь.
Бесспорно так и будет, код будет подменяться и никаких предупреждений получено не будет.
А еще Manul не сможет определить угрозу, которую добавят непосредственно в базу данных, а не в сами файлы сайта.
Для того, что бы все это определить необходим внешний мониторинг сайта, на который не сможет повлиять злоумышленник. проникнувший на сайт.
Для своевременного оповещения можно использовать внешний мониторинг сайтов Nazamok.com и уже потом Manul в качестве лечения.
Nazamok умеет определять следующие вещи, независимо от того, добавлены они в файлы сайта или в базу данных:
— Несанкционированное размещение внешних ссылок;
— Любой новый JavaScript и Iframe с вирусом или рекламой;
— Дорвеи и фишинговые страницы, добавленные на сайт;
— Изменения в файлах JavaScript, подключаемых к сайту;
— Воровство трафика с мобильных устройств;
— Воровство трафика при переходе с поисковых систем.
Нужна консольная версия.
Тогда можно сделать так. Антивирь кладем в папку, права на запись даем только юзеру manul и в консоли можно будет жить (даже отключив сайт).
Занятно
Но ребята…
global $locals, $current_lang;

file_put_contents2($this->configPath , $config_file_content);
а что плохого в глобальных переменных с локалью? :)
Это порочная практика
Может мне кто-нибудь расскажет почему это не так?
Не отчаивайся и не обращай внимания на минусы, ты прав. Глобалсы — это действительно зло во плоти, хоть кажется и безобидным.

Смысла в них нет, просто потому что есть:
1) Singleton
2) Registry
3) Dependency Injection + Ioc
4) Facade
5) Decomposition
6) Traits
7) Static-классы
8) Наследование на крайний случай
9) Наверняка что-то ещё

Для примера:
<?php
trait Locals
{
  protected static $locale;
  protected static $currentLang;
}

....
class Some
{
  use Locals;
}


Каждый «механизм» требует столько же трудозатрат, они не идеальны, у них свои проблемы, но будут в разы лучше и надёжнее, нежели глобалсы, просто наличием контроля и перспектив контроля над данными. А если вспомнить, что старые версии php поддерживают register globals, с помощью которых можно превратить подобную переменную в дыру на сайте — можно будет просто уповать на удачу и внимательность разработчиков в каждой мелочи, когда антивирус не станет причиной «заражения».
Спасибо, я с вами абсолютно солидарен
Ну давайте, расскажите мне, чем статические поля «в разы лучше» глобальных переменных?
Ну со статиками я может и погорячился (т.к. в пыхе нет __get\__setStatic). Так что в данном случае всего лишь в три раза лучше:
1) Для того, чтоб получить контроль — надо явно подключить «контейнер», т.е. программист по незнанию ничего не натворит.
2) Повторюсь про register globals (слава всевышнему их уже давно нет).
3) Наличие Locals, как группы этих переменных — т.е. уже первый шаг к унификации данных, как следствие объектности.

Это уже не мало. Но никто же не спорит, что статики — это прямо совсем хорошо. Их например тестировать неудобно, да и точно так же их данные можно подменить. Плюс отсутствует возможность создавать инстансы, например объект локали и фоллбека для неё. И проч.
Пункт 3 на самом деле не относится к проблеме глобальных переменных, ведь условный экземпляр класса Locals точно так же может быть объявлен глобально – унификация есть, хотя глобальная переменная никуда не делась.

Пункты 1 и 2 специфичные только для PHP, так что я думаю что ваше утверждение «глобальные переменные — зло» можно свести к «глобальные переменные – зло для PHP из-за пунктов 1 и 2».

Согласны?
Нет, т.к. мой пример — всего лишь частный случай улучшения данной ситуации (т.е. один из 9 пунктов). К слову, трейты я видел лишь в том же самом PHP. Предлагаю рассмотреть более популярный вариант — синглтон.
<?php
class Locale
{
    protected static $instance;

    public static function getInstance()
    {
        if (!static::$instance) { static::$instance = new static; }
        return static::$instance;
    }
  
    // блокируем конструкторы, клонировние и прочее, если надо


    public $locale;
    public $currentLang;

}


Из минусов я наблюдаю только пару:
1) — Глобальность объекта в единственном экземпляре (т.е. статический класс почти что)
2) — Долго писать: Locale::getInstance()->locale;
Что компенсируется:
2) + Наличием в языке неймспейсов — можно убрать туда, где он не будет мешаться и сложно будет добраться к нему по ошибке.
3) + Возможностью работать с полями, как со свойствами — превращаем public в private\protected и добавляем метод __get.
4) + Можем контролировать данные (вытекает и п.3) — например добавить валидацию на язык (чтоб он был только вида [a-z]{2}\-[A-Z]{2}) или если прилетает объект локали — автоматом конвертировать.
5) + Можно добавить автоматическую инициализацию, при наличии, допустим $_GET['lang']
6) + Eщё туча всего, что можно делать с объектами

Это уже заметно более профитный вариант, нежели со статиками и почти что не имеет минусов, от которых можно избавиться с помощью отправки этого инстанса в фасад или Ioc-контейнер приложения.
Опять же, первый пункт специфичныя для PHP, все остальные про то, чем хорошо использование объектов, а глобальные переменные тут ни при чем. Я сделаю такой же класс Locale как у вас, только не синглтон, а потом создам его экземпляр как глобальную переменную и получу все ваши «плюсы» в глобальной переменной.
Опять же, первый пункт специфичныя для PHP

package org;.habrahabr.some; public class MySingleton { private static MySingleton instance = null; public static MySingleton getInstance() { if (instance == null) { return instance = new MySingleton(); } return instance; } }

Синглтон всё равно глобален.

А в остальном да, тоже самое. Но смысл глобалсов ведь в том, чтоб предоставить единовременный доступ к переменной из любой части приложения, точно так же, как смысл существования синглтона — улучшить глобальные переменные.
Если мы говорим о Java, то статические поле точно так же глобально как и ваш синглтон:

public static class Environment {

    public static final currentLocale;

    static {
        currentLocale = new Locale('en.utf-8');
    }

}
P.S. пункт 3 относится к глобальным переменным напрямую, но не только к ним. Вариант решения проблемы — префиксы, но это получится просто некая «локальная отсебятина».

Пункт 1 возможен не только для PHP. В любом языке, где есть множественное наследование — в PHP просто более элегантный инструмент оного.

Пункт 2 — в данном примере — согласен, только для PHP.

Я просто не с первого раза понял к чему относится вопрос «Согласны».
Разве в PHP глобальные переменные не могут быть объектами? Почему вы рассматриваете глобальные переменные только как набор примитивов? Опять же глобальная переменная $locale типа Locale обладает всеми теми же преимуществами, которые вы приписываете синглтону.

Причем здесь множественное наследование? Если я правильно понял, что вы имели ввиду, проблема в том, что разработчик может случайно переопределить глобальную переменную объявленную в другом файле. Такое возможно только там, где глобальный scope глобальный для всего приложения – PHP и Javascript. В остальных языках такой проблемы нет.
От этого же никуда не денется проблема переопределения, просто ситуация улучшится. Просто я не представляю в чём тогда смысл глобальных переменных, если у нас и так уже есть нужный объект, который точно так же можно засунуть в другой объект, избавившись от всех проблем, да и ещё плюс добавив возможность автолоада.

З.Ы. я не готов рассматривать другие языки программирования, а говорю конкретно про PHP.
В других скриптовых языках ситуация не просто улучшится, там такой проблемы не вообще – глобальная переменная объявленная на уровне модуля не явно доступна только внутри этого модуля. Конечно же это не значит, что все можно хранить в глобальных переменных, но там где они удобны их наличие никак не вредит.

А я не буду с вами спорить только про PHP, ведь я уже сказал что проблемы специфины для PHP и с ним использование глобальных переменных действительно крайне сомнительно.
Думаю стоит подвести итог: В PHP и JS — глобальные переменные — это очень плохой код, в остальных языках — просто нежелательный, т.к. есть альтернативные механизмы, дающие больше контроля.

В этом случае Вы меня убедили.
Меня вот этот карго-культ в отношении глобальных переменных забавляет не первый год. Почему вдруг класс со статическим методом getIstance лучше глобальной переменной — для меня загадка. Точно такая же сущность с глобальной областью видимости получается.

Да, я в курсе про register_globals в php; однако, во-первых, они отключены начиная с PHP 4.2, а traits появились в 5.4.0; во-вторых, глобальные переменные почему-то объявлены злом в миллионе языков без всяких register_globals.
Да просто все запомнили, что «глобальные переменные — зло» и бросаются каждый раз как бык на красную тряпку. А узнать почему они зло, когда они зло и как делать правильно дело десятое.
Я выше уже ответил, но ещё раз повторюсь — основной смысл в том, что над переменной нет никакого контроля, ну т.е. вообще никакого — что хочешь с ней делай. А любой, хоть захудалый синглтон позволит в случае чего понавешать логики, вместо перелопачивания всего кода.
А на переменную-инстанцию класса какую такую логику нельзя навесить, которую можно на синглтон?
Точно такую же можно. Но ту вопрос был про глобалсы и чем они плохи, а не про поля инстансов.
Нуу. Можно завести глобальную переменную — единственную инстанцию некоторого класса. А можно сделать статический метод того же класса, который вернёт эту самую инстанцию. В чём разница-то в плане контроля? И так, и так получаешь инстанцию.
Для того, чтоб изменить поведение глобальной переменной (во время получения и установки чего-либо внутрь) — требуется исправлять способ получения этих данных везде, где переменная задействована. В случае статического метода — можно поменять способ получения данных внутри этого единственного метода.

И так и так получаешь инстанс, да, но в одном месте контролирует язык, а в другом лично, с помощью этого метода. Результат один и тот же, да и код столько же пишется почти что, но с помощью одной этой мелкой замены можно предотвратить возможные проблемы в будущем.
Вы сейчас написали «если вместо синглтона потребуется какой-то другой паттерн». Синглтон по определению предоставляет доступ к единственной инстанции безо всяких спецэффектов.

Ну и да, глобальная функция с этим справится ничуть не хуже статического метода класса.
Возьмём к примеру Yii — там весь фреймворк работает как раз с синглтоном со спецэффектами.
О, там не только это, кратко список проблем:
1) Именование переменных через андер_скор
2) Отсутствие области видимости у методов
3) Переносы строк. Где? Стоит почитать о стандарте php-кода www.php-fig.org/psr/psr-1/ru
4) Переменные без объявления (!!!) и в ВЕРХНЕМ_РЕГИСТРЕ github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php#L20
5) require github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php#L3 Неужели spl autoload уже вышел из моды?
6) Глобальные функции github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php#L8 это ещё было бы нормальным, если бы: а) Они проверялись бы на существование б) Были бы в отдельном файле
7) Погашение ошибок: github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php#L296
8) die github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php#L238
9) Использование глобальных массивов без проверок github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php#L302

И это только в одном файле. Простите конечно, но так даже в третьесортных компаниях по штампованию сайтиков на вордпрессах не пишут. Это просто невероятно печально.
Спасибо за замечания. Сейчас код действительно не написан по единому styleguide'у, но большинство ваших замечаний будут учтены в будущем по мере его облагораживания. Также будем рады вашим пулл-реквестам!
Судя по именованию переменных, и любовь Яндекса к питону, предположу, что код писали питонисты.
Прочитали мою мысль
Вам шашечки или ехать?
А в чём смысл поездки в одну сторону и только вперёд? Зачем писать тот код, который пишется на долгосрочную перспективу, но при этом чтоб его использовать — требуется переписать?

Просто почему-то новичкам, которые пишут дельные вещи, но при этом в таком же стиле — сливают карму и просто отписываются «RTFM» или «Не надо так писать, это же хабр, многие заходят и учатся по этому коду». А что в этому случае не так?

Или я должен был промолчать, вместо того, чтоб внести свой вклад по возможности, написав чёткий список проблем в оформлении кода и мелких проблем, которые могут вылиться в огромные трудности в перспективе, когда проект будет усложняться и развиваться? Уж увольте, лучше я сразу выскажусь, пусть и резковато, но по делу, чтоб ребята не наступали на грабли.

Так что мне хочется автомобиль, и да, с шашечками по-возможности. Самолично нарисовал парочку списком выше.
Вы не должны помалкивать, просто интонация вашего комментария как-то не в духе сообщества open source. Принято либо молча исправлять недостаки, получая за это почет и уважение, либо, если не можете сделать это самостоятельно или просто нет времени — создать issue с подробным описанием проблемы. Ошибаются все, и на каждого умника найдется кто-нибудь еще более умный — нужно снисходительнее относится к подобным вещям.
Да, приму к сведению, Вы абсолютно правы.
НЛО прилетело и опубликовало эту надпись здесь
Какой «R»? Имеете ввиду, что надо было кинуть ссылку на PSR-0 и PSR-4, и описать как работает функция spl_autoload_register? Честно, не понимаю что вы имеете ввиду.
НЛО прилетело и опубликовало эту надпись здесь
О, ну раньше там был require, наверное стоило дать ссыль на конкретную версию, а не на мастер.

В любом случае да, это тоже можно добавить в краткий списочек todo выше.
а чем плох die?
Это не нормальное завершение скрипта:
1) Это не ошибка (Throwable\Exception\ErrorException)
2) Это не возврат со статусом ответа (например exit -1)
3) Это не конец работы программы (окончание выполнения скрипта, последняя его строка)

Любой программист ожидает, что конец работы приложения будет в том же файле, где и начало, и будет очень сильно удивлён, когда его «echo 42» в качестве теста — не будет работать. А потом обматерившись — обнаружит через пол часа эти злосчастные 3 буквы. И это слава богу ещё исходники очень маленькие. Когда там наберётся хотя бы метр — вот это будет настоящий «ад дебага». =)
НЛО прилетело и опубликовало эту надпись здесь
Напомнили про антивирусы Попова и Бабушкина
Да в 1023 байта и на WCT, если вы понимаете о чем я :)
НЛО прилетело и опубликовало эту надпись здесь
Для справки. только на одном шаредхостинговом сервере небольшого хостинг проекта с полтыщи сайтов таких «супер-антивирусных-плагинов» (с сами догадываетесь каким функционалом) я выкосил с полторы сотни, неспешно просмотрев каждый вордпресс сайт — его плагины на сервере после миграции хостинг сервера на свежую ос/платформу, когда «удивился» количеству запросов к сайтам, писем от сайтов, и веселенькой нагрузке на sql.
Глянул код, комментариев — ноль,. Даже автогенерируемые в IDE описания методов отсутствуют. Процедура детекции куцая — сканирование стартует только при наличии сигнатуры из списка:
              '<?php',
              '<?=',
              '#!/usr/',
              '#!/bin/',
              '#!/local/',
              'eval(',
              'assert(',
              'base64_decode('

Сразу сходу контрпример — #!/etc/../bin/sh — замечательно работает, а сканироваться не будет. Все хостинги для Битрикс поддерживают короткий тэг <?, которого здесь нет. Упаковка минимально бывает еще и функцией pack(). base64_decode обычно в сайтовых вирусах обфусцируется элементарной str_replace.

Лимит на файл 1М (выше которого сканироваться совсем не будет) — может и разумно, но вот инжекция в IPB 3.x логи работает и на огромных логах тоже.

Итого вижу потенциально много false negative ошибок по итогам работы скрипта. И, с точки зрения лечения и поиска заразы, это очень печально. Здесь, как мне кажется, лучше перебдеть (или хотя бы иметь такую возможность).
Мне кажется специально для вас последний абзац поста:
Manul — это проект с открытым кодом, который выложен на GitHub. Вы можете принять участие в его развитии, добавить новые возможности или адаптировать исходный код под собственные нужды.
Это просто было удивление низким качеством инструмента от самого Яндекса (который собираются предлагать конечным пользователям). И еще показалось странным, что код детекции у фактически антивируса не правился более 7 месяцев. У вас там еще алгоритмически в тесте сигнатуры косяк есть (стал смотреть историю версий и нашел):
        // do scan for all kind of scripts 
        foreach($extensions as $scan_ext) {
            if (strpos($ext, $scan_ext) !== false) { 
               $need_to_scan = true;
            }
        }  

Не хватает break после присвоения (решение уже принято, сканировать дальше ни к чему). Когда в сентябре меняли здесь условие, это не учли (в if интерпретатор сам дальше сработавшего не считал). Аккаунта на гитхабе нет, pull сделать не могу.

И еще, по детским воспоминаниям о Perl, он бы лучше подошел для такой задачи.
Спасибо за замечание, поправили: github.com/antimalware/manul/pull/51/files

Комментарии к коду обязательно будут. Что же касается остальных замечаний — приглашаем вас принять участие в развитии инструмента и вместе сделать его лучше :)
Вызовы функций типа 'eval(' запросто могут быть записаны как 'eval (', например.
Еще вдогонку create_function(), overrride_function() и даже preg_replace() в версии до 5.5.
Попробовал на 3-х сайтах в общем:
Could not properly handle AJAX request {«readyState»:4,«responseText»:"",«status»:500,«statusText»:«Internal Server Error»}
Так отчет и не смог получить.
Сообщите нам, пожалуйста, по адресу manulsupport@yandex-team.ru, какой у вас хостинг, какая версия PHP и, если возможно, пришлите вывод phpinfo();. Обязательно разберемся.
Такая же петрушка. Манул помер даже на сайте их трех страниц. На некоторых не помер, но при скачке XML гугл хром тут же блокирует файл (вирус там находит), а манул заново без скана скачает не дает. Замкнутый круг. Как скачать XML с вирусом?

Ну и на одном сайте, кажется откровенно невинные странички пометил красным, причем не говорит почему. Пока в замешательстве…

Могу залить чистый манул и дать доступ к сайту.
Вайтлист? Яндекс, ты чего?
Колмановской на них нету.
Похоже, тоже самое, что и AI-Bolit, а значит и обмануть можно так же.
вебшелл WSO пропустил мимо, зато прицепился к чистому ckeditor.js
UPD: некоторые файлы (плагины) WSO даже зелененьким пометил))))
Мы не стали раскатывать на старте полную базу имеющегося вредоносного кода, но скоро грядет большой апдейт :-)
Этот антивирус нужно будет гладить?
Скорее причесывать.
Я бы поостерегся руку к манулу протягивать…
image
Это все потому что их не гладили!
Какой хвост нереальный у кота…
Это четвертая лапа )
Архив с Manul заливается в корневой каталог сайта — например, через FTP/SFTP, и там распаковывается

Там в архиве есть index.php — велика вероятность, что пользователи будут перезаписывать свой index.php тем, что лежит в архиве и потом грустить.
Автор, наверное, имел в виду «каталог/директория/папка (подставить любимое именование) с Manul».
А вообще, всё намного проще: cd /path/to/site && git clone github.com/antimalware/manul ;)
Много Вам дадут shell и с git на шаредхостинге?
Для своих сайтов на своих серверах — да, твоя впс/физика — делай, что угодно.

А вот на запросы шелла на сервер шаредхостинга (не впс) я обычно жёстко говорю «данная услуга (shell) не предоставляется. берите vps». На старом хостинге шелл был, и попытки запустить на нём сервера кантры — меня сначала веселили, но быстро надоели.
Ну если хостинг бесплатный, то конечно там такого не будет (и то не факт). А так, нынче, даже самый дешёвый хостинг, рублей за 50 в месяц предоставляет и ssh, и гит, и много чего другого. Время же идёт, конкуренция и прочее.
Спасибо за замечание. Антивирус должен распаковываться в отдельный каталог /manul, архив уже исправили.

На будущее встроим проверку на этот счет и подумаем про то, чтобы переименовать файл.
Отработало «красным» на «wget -O bla-bla», однако в моем блоге системные комманды частенько встречаются, т.е. он просто агрится на контент.
А у вас, простите, содержимое блога сохраняется в исполняемых вебсервером/интерпретатором скриптах? Или просто лежит «рядом» с ними? :)
// Я к тому, что обычно оно лежит в базе…
возможно, что у него кеш в файлах
А зачем хранить содержимое блога _в базе_? Мы с автором Jekyll’а и разработчиками github.io уже довольно давно считаем, что блог в базе — вчерашний день.
обычно

;)
А компиляция из маркдауна в статику это «завтрашний день» и, конечно, хорошо, и я всеми конечностями поддерживаю. Но, увы, я не могу «подопечный» редакторский состав (всяких роскомсвобод, руликсов, пиратмедий и прочего) перевести на его использование. Сопротивляются и всё тут. Привыкли, знаете ли к WYSIWYG-редакторам прямо на сайтах (локальные использовать тоже не хотят) и всяким админкам и прочему. :(
Ну и им подавай «быстро поднял и начал постить, а не просить техотдел настроить этот ваш гит» :(

Так что, боюсь, этот «вчерашний день» будет умирать так же долго, как и IPv4 :'(
А вы, простите, про кэш слышали? :)
Слышали. Но мы уже привыкли, что кеширование в файлах средствами самого движка — «немного не то», по сравнению с кешированием средствами opcache, NginX и memcached ;)
С документацией беда, начиная с установки:

> Как использовать
> 1. Загрузите Manul в корневую директорию сайта через FTP/SFTP и распакуйте архив.

wget http://download.cdn.yandex.net/manul/manul.zip && unzip manul.zip


В архиве естественно нет директории manul и все аккуратно(unzip выдает предупреждение о замене index.php) перемешается с файлами сайта. Ни слова про установку прав доступа к файлам.

Раз уж есть отчет и анализатор, нужно и консольный вариант, желательно в phar, с возможностью вывода отчета в stdout (для упрощения скриптов).
В архиве естественно нет директории manul


Исправили, спасибо.

Консольный вариант анализатора пока не планировался, но, возможно, появится в будущем. Также приглашаем вас принять участие: github.com/antimalware/manul
Консольный вариант анализатора пока не планировался, но, возможно, появится в будущем.

Не посчитайте, что я придираюсь, но по-моему как раз с консольного варианта и надо было начинать, ибо:

1) Если на сайте малваря — первое действие, вырубить vds, сеть и проч., а если нет возможности — хотяб сделать редирект .htaccess'ом на 500 ошибку с сообщением о «временной недееспособности». Чтоб ничего никуда не улетело (особенно персональные данные) — т.е. и отключить ваш антивирус вместе с этим.

2) Эта утилита для администраторов сайтов, как следствие — смысла в html версии не много. Или есть вариант, что человек, допустим какой-нибудь менеджер будет проверять им сайты, самолично разбираться где ложное срабатывание, а где действительно что-то случилось?

Естественно — это не абсолют, и даже более чем, но это наверняка целевая аудитория — люди, хоть сколько-нибудь разбирающиеся в вебе.

Хотя с другой стороны обычно (буду оптимистом) используют git для деплоя, так что даже если и есть какой-то скриптик левый — он будет снесён дефолтным `checkout force`.
Ув. Яндекс, исходный код этого инструмента, документация и способ установки — это очень-очень сильный стыд
И что? Мы тут какое-то наклепали, и даже используем и даже клиентам предлагаем. Что там внутри мы не знаем, хотим чтобы вы нам рассказали
нет, не так. А вот так:
Я считаю, что вот эту, эту и вот эту вещь вы сделали неправильно. Вот пруф. Вот патч, исправляющий это. Спасибо за проект.
Пруфов было достаточно выше.
Аналогично можно выпустить проект с описанием СуперМегаФреймворк/Антивирус/OS
и кодом:
<?php echo 'helloworld';

Дальше апеллировать, это открытый проект присылайте патчи и недостающий функционал!

Более того, оно частелько так и делается (конечно, не настолько утрированно). И всех всё устраивает :)

// В конце концов, именно так и начинался Freax (ныне известный как GNU/Linux) ;)
НЛО прилетело и опубликовало эту надпись здесь
ты, наверное, отвечал на два уровня выше? :3
// потому что недописанные хеллоуворлды я и сейчас стесняюсь выкладывать
Кстати, господа минусующие. Ну, предположим, что моё заминусованное предложение вести дискуссию о качестве кода в вежливом тоне и предлагать пути исправления всё-таки не к месту и нынче «правильнее» говорить «сильный стыд» вместо решения проблемы. Ладно. Ну минусуете коммент. Фиг бы с вами. Но зачем карму-то сливать? Она ж нынче на вес золота :'(
Ребят, большая просьба — прикрутите composer, сделайте release (для stable) и версию «standalone» (для импорта в свои «скрипты» вебмастера/девелопера/etc).
Спасибо за пожелание, учтем.
Could not properly handle AJAX request {"readyState":4,"responseText":"","status":525,"statusText":"OK"}


Стабильно лезет после проверки. На обоих испробованных сайтах.
Если возможно, пришлите нам, пожалуйста, по адресу manulsupport@yandex-team.ru информацию о том, какой у вас хостинг, какая версия PHP и вывод phpinfo();. Будем разбираться.
Справедливости ради, у меня тоже

Could not properly handle AJAX request {"readyState":4,"responseText":"\nMalwareDetector.inc.php: timeout while scanning /srv/web/s_ppru/sites/pirate-party.ru/www/sites/piratemedia.net/files/styles/article-fon-breakpoints_theme_piratemedia_narrow_1x/public/field/image/8389c7d4c5bd54e21090.png\nTry to increase an interval in settings.\n","status":200,"statusText":"OK"}


Зачем картинки-то целиком сканить? :3
Ах, и да:
Хотя эта страница и зашифрована, отправленная вами информация будет передана по незашифрованному соединению и может быть легко доступна третьей стороне.

Вы действительно хотите отправить эту информацию?

при нажатии на «передать отчёт» :)
Спасибо, исправим.
Картинки проверяются, потому что в них тоже бывают дописаны веб-шеллы.
Ну, тогда и вправду неплохо бы подумать о возможности общесистемной установки и «натравливании» на нужную директорию аргументом. Чтобы, в конце концов, можно было по крону проходить по сайтам :)
Если есть движок поиска было бы неплохо увидеть этот же движок в deb пакете с возможностью запуска для всех виртуальных хостов. Если их с десяток — всем распаковывать?
Вот тоже, сижу, думаю, симлинков понаделать. И закрыть доступ к /manul только паре доверенных IP-адресов из сети.
Спасибо за предложение, подумаем над этим.
Код показался сильно схож с другим продуктом одного из авторов — Григория Земского.
Для контроля состояния файлов известных CMS всё так же применяются простые контрольные суммы, типа CRC32, которые вирусописатели давно научились подделать и, тем самым, избегать проверки? Это может быть оправдано для экономии вычислительных ресурсов, но может снизить эффективность всей системы.
Код показался сильно схож с другим продуктом одного из авторов — Григория Земского.

Так один из авторов и есть Григорий, посмотрите файл лицензии.
questor, в комментарии указано, что Григорий является одним из авторов.
Не возникнет в будущем проблем, что на AI-Bolit получено свидетельство о гос.регистрации, а код очень похож?
Оу, в пуллреквесты — плагин к популярным cms.
второй — проверку прав доступа — на chmod 777 стоит обращать внимание.
И третий как уже говорилось комментарием выше — deb/rpm — это была бы хорошая фича для хостинг проектов.
Спасибо за предложения, мы подумаем над ними.
Попробовал на одном сайте, получил ошибку при 'unlink' (см. #54), отчёт отправил.
Большое спасибо!
В общем, есть два пожелания по roadmap проекта.

На текущий момент есть пожелание чтобы проект двигался в сторону поддержки большого числа серверов и автоматизации.

Одно соображение мы уже высказывали выше — на сервере множество виртуалхостов, не заливать же на каждый сервер, верно?

Второе замечание касается регулярной проверки. Я не хочу каждое утро начинать с того, что проходить руками по всем сайтам, вбивать пароль и читать отчёты. Регулярный, автоматизированный мониторинг. Настройки в zabbix / cacti / ваша любимая утилита мониторинга.
Спасибо за ваши пожелания, мы подумаем над этим.
Попробовал у себя на чистом сайте, в виртуальной машине битрикса, оказалось php dom xml по умолчанию нету.

Там внутри есть какие-то завязки именно на php? Может быть есть смысл портировать инструмент на Go и компилировать в статический бинарник — чтобы вообще без внешних зависимостей работал?
Спасибо за замечание. У нас в планах есть уменьшение зависимостей, в том числе и от dom xml.
Собстенно попробовал в двух вариантах:
1. На VDS с окружением битрикс в его стандартной настройке (такой как настраивает скрипт установки окружения для centos 6)
2. На виртуальном хостинге

В обоих случаях скрипт не доработал до конца. Загрузил целиком ядро процессора, несколько минут в таком режиме поработал и отвалился с ошибкой ajax чего-то. Скрипт предложил отправить отчет, я его отправил. Вероятно в отчете информация о системе содержится.

Мне кажется в текущем варианте скрипт не может применяться в условиях виртуального хостинга — он слишком ресурсоемкий, а с ростом количества сигнатур и качества распознавания ресурсоемкость будет только расти. Ни один нормальный хостер не даст загрузить одному клиенту процессорное ядро целиком на значительное время (полчаса например для большого сайта).

Т.е. в целом этот инструмент был бы применим для персонального использования из командной строки на собственной копии файлов сайта, как например айболит.

Так же посмотрел код проверки. Если я правильно понял, то это код github.com/antimalware/manul/blob/master/src/scanner/classes/MalwareDetector.inc.php и тут ничего специфичного для php нет, никакой сложной логики пока тоже нет).
Предлагаю портировать инструмент на какой-то компилируемый язык и компилировать код в бинарник для уменьшения ресурсоемкости (go, c++ и т.п.) чтобы его можно было просто применять и в массовых режимах (хостерам) и в режимах виртуального хостинга (запускать как cgi-скрипт). Я бы тоже к этому проекту подключился — мысль такая уже давно есть, пока что пользуюсь для беглой проверки набором грепов. Логика работы примерно такая же, только работает несоизмеримо быстрее.
Как вебмастер и клиент сервиса Яндекс.Вебмастер добавлю свои 5 копеек:

Узнать о проблеме с подозрением на вирус получается быстрее от клиентов, чем получить уведомления от сервисов Яндекса, т.е. сначала поисковик Яндекса и безопасный DNS Яндекса добавляют домен в черный список, а через часик другой админу сайта приходит email, что есть проблема. Мягко говоря свинство. Благо еще остались понимающие клиенты, которые сообщают администратору о таких проблемах.

Об SMS-уведомлениях можно и забыть хотя в Яндекс.Паспорте он указан (для оперативности).

Проблема была с файлом приложения на хостинга (не связанного с исполняемыми скриптами сайта), более того, Яндекс.Диск пишет, что DrWeb проверил и все ОК.

PS В саппорт разумеется обращался, 18 из 56 тестов показали подозрительным файл (приложение для win) из-за процедуры автообновления. Так что любой архив, любой файл господа администраторы может стать поводом для бана вашего домена по единоличному решению Яндекса.
Используйте сервис Nazamok.com, там можно получать уведомления по смс и не надо ничего устанавливать на свой сервер.
Производится внешний мониторинг.
Спасибо конечно, но как это защитит от параноидальной проверки Яндекса, ибо по факту ничего достоверно вредоносного обнаружено не было, а стало быть и ваш сервис не оповестит.
Этот сервис оповестит при любых изменениях, производимых на сайте, даже о том, о чем не оповещает яндекс.
он оповещает, но с задержкой по времени и уже после принятых им мер и избежать этого нереально пока яндекс это сам не поправит.
Проверку хешей каждого файла на хостинге я могу и сам себе написать за бесплатно с уведомлением по sms, но суть проблемы не в вирусном заражении сайта, а в подозрении на вирус по мнению яндекса, т.е. ложной тревоге.
НЛО прилетело и опубликовало эту надпись здесь
Карл, они написали антивирус для проверки PHP-файлов на PHP! На PHP, Карл!
А как с обновлениями?
Обновления будут, в ближайшее время приедет большой апдейт.
А как он будет происходить? Заново скачать дистрибутив и базу зловредов?
Да. Manul не предназначен для постоянного нахождения на сайте, поэтому в нем нет автообновления. Мы рекомендуем удалять его с сервера после успешного излечения сайта.
Вот и неправильно. Я жду, что антивирус находится на сайте постоянно и постоянно контролирует наличие вирусов на сайте. Даже странно слышать подобные слова от яндекса, который выдаёт рекомендации веб-мастерам.
И еще
Шаг 1. Анализ файлов

Чтобы проанализировать отчет после сканирования:

Запустите Анализатор логов.
Запускаю — 404 ошибка.

-Архив с Manul заливается в корневой каталог сайта

Переименовал ваш index.php на manul.php, запустил его — а ajax обращается только к index.php, а не к новому названию и сразу выдает ошибку.

Окей, переименовал свой index.php -> index2.php и запускаю index.php который manul.
В итоге в процессе работы он выдал ошибку, окей хрен с ней, жму наверху «Удалить manul», жду… че-то долго грузится, уже 10секунд прошло.
Захожу в корневую директорию по ftp — голяк, все файлы стёрты. Кнопка «Удалить manul» удалила не только manul, а всё подчистую.
Спасибо, Яндекс. Пошел писать тикет хостеру на резервную копию… (((

Пожалуйста, именуйте кнопки более ответственно.

update: почитал, оказывается небыло необходимости закидывать в корневую директорию. надо же!
Архив заливается в корневую директорию и распаковывается в отдельный каталог /manul. У вас произошло не так?
-Зачем?
подумал я, да распаковал архив у себя локально, и просто закинул файлы по FTP, чтобы не напрягая извилины не дергая файловые менеджеры распаковывать архив.

Вы поймите, я не гоню на вас, сайт всё-равно заброшенный, его уже восстановили. просто так бы сделал другой простой dumb-пользователь, на которых вы расчитываете.
Предложение: на такой случай перед удалением проверять, нет ли в директории manul чего лишнего. И если есть, то не удалять и вообще бить тревогу.
Ребят, начинание отличное, но в результатах бред же, 281 страница подозрений (стандартная Joomla 1.5) и в сниппетах непонятно, чтож ему не понравилось.
Что-то думается мне, что понижая порог вхождения в процедуру «разместить сайт на хостинге и следить, чтоб с ним всё было в порядке» вы не делаете мир лучше.
Попробовал проверить один сайт. Сайт работает на CMS Wordpress, сканирование прошло, никаких сообщений не выдало, в конце предложил скачать отчет. Что настораживает, так это название отчета quarantine.2015_04_24_23_59.zip. Я правильно понимаю, он туда без моего ведома вырезал код? Что значат такие строчки в отчете:
<file detected="w" snippet="TDk4OiAnXSkgKSA/IHRyaW0oJF9QT1NUWydjb21tZW50J10pIDogbnVsbDsKCi8vIElmIHRoZSB1c2VyIGlzIGxvZ2dlZCBpbgokdXNlciA9IHdwX0BfTUFSS0VSX0BnZXRfY3VycmVudF91c2VyKCk7CmlmICggJHVzZXItJmd0O2V4aXN0cygpICkgewoJaWYgKCBlbXB0eSggJHVzZXItJmd0O2Rpc3BsYXlfbmFtZSAp" pos="2563">
  <path>./wp-comments-post.php</path>
  <size>5007</size>
  <ctime>1429819197</ctime>
  <mtime>1429819197</mtime>
  <owner>user</owner>
  <group>user</group>
  <access>0755</access>
  <md5>91c0d3c3f1d0a5f06ca9b225f966e6a7</md5>
</file>
Предыдущий вопрос решен. Возник вопрос, удаляются все же файлы, или же вредоносный код внутри файлов? Как то боязно удалять файлы.
Manul не вырезает код из файла, он копирует подозрительный фрагмент в отчет.

Сейчас файлы удаляются целиком, после чего их можно перезалить. Иной сценарий — выяснить с помощью Manul, какой код был дописан в файл, и удалить его вручную.
Спасибо за ответ. На сайте с Jooml-ой вышла ошибка
Could not properly handle AJAX request
отправил отчет.
НЛО прилетело и опубликовало эту надпись здесь
Мне нравится. Хотелось бы плагин для Wordpress c обновлением.
И, как узнать о выходе новых версий в текущем варианте?
Три месяца нет обновлений?
github.com/antimalware/manul
Загнулся Манул
Зарегистрируйтесь на Хабре, чтобы оставить комментарий