За счет чего можно обманывать автоматизированные системы

Метод обмана любой программы по контролю самоизоляции населения

Тестируем программу «Дій вдома» и ее аналоги на возможность подмены GPS координат. Разбираемся как работает софт по отслеживанию нахождения человека.

Как обмануть программу самоизоляции

Всем кто возвращается из-за границы, стал контактом первой очереди или получит положительный тест на Covid-19 предписано находиться дома на самоизоляции и не подвергать риску окружающих людей.

Для контроля населения в разных странах используется разный софт, например «Дій вдома» в Украине и «Госуслуги СТОП Коронавирус» в России.

Все они используют стандартные API ОС Андроид для своей работы.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Как работают эти программы

Примерно один раз в час приходит уведомление о просьбе сделать селфи. Пользователь делает селфи и отправляет фото. Нет ничего проще.

С технической точки зрения приложение именно в активном состоянии собирает данные о местоположении пользователя, его GPS-координаты. В остальное время программа никаких данных не собирает.

Получается, что нам надо всего лишь изменить GPS-координаты так, чтобы телефон, а следовательно и приложение думали что мы находимся дома.

Как изменить GPS-координаты и обмануть приложение

К счастью, в том же Google Play есть прекрасное приложение для смены координат. Называется оно Fake GPS location.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Скачиваем и устанавливаем приложение. Запускаем. Интерфейс очень простой. Вы увидите карту мира с возможностью выбрать нужное местоположение. Внизу справа кнопка Запустить.

Тестируем

Чтобы проверить как это сработает, надо изменить текущую локацию на любую другую и запустить приложение Погода или Google Maps, Яндекс.Карты. Если все работает, что приложение покажут вашу измененную локацию.

Я устанавливаю город Париж. И нажимаю Запустить.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Открываю приложение Погода и дожидаюсь обновления данных.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Как видно на скрине, местоположение изменилось. Приложение обмануто.

Открываю свои местоположения, которые я изменял для теста и убеждаюсь, что все работает.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Когда вы убедились, что приложение успешно меняет ваши координаты, то смело ставьте локацию вашего дома и отправляйтесь по делам. Главное не забудьте, что кроме GPS-координат приложение просит делать селфи таким образом, чтобы была видна домашняя обстановка. Как это сделать пишите в комментариях под статьей. Возможно надо таскать повсюду за собой ковер со стены и делать селфи на его фоне 🙂

Важно

Хочу отметить, что администрация сайта не пытается научить обманывать приложение по контролю самоизоляции населения. Если вам положено сидеть дома, то так и поступайте и не подвергайте риску здоровье окружающих людей.

Дата публикации статьи: 10 июня 2020 в 20:08
Последнее обновление: 24 августа 2021 в 21:37

Источник

За счет чего можно обманывать автоматизированные системы

Одна из важнейших задач любого бизнеса – повышение интенсивности работы подчинённых. Особенно сложно это сделать, когда сотрудники работают с использованием персонального компьютера в качестве основного инструмента. С этой целью всё большее количество компаний внедряет системы контроля и учёта рабочего времени на основе программного обеспечения.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Большинство такого рода программ работает следующим образом. На подконтрольные компьютеры тайно или явно устанавливаются невидимые для пользователя агенты, которые собирают необходимую информацию о деятельности компьютера и передают её через сетевое подключение или интернет на серверный компьютер. На последнем разворачивается программа, анализирующая поступающие от программ-агентов данные, и выдающая отчёты и тревожные сигналы.

Идеальный сотрудник в рабочее время должен использовать только продуктивные программы, посещать только необходимые для работы сайты, вести только служебную переписку по электронной почте, вовремя начинать и заканчивать рабочий день, свести к минимуму перерывы в работе на перекуры и личные дела, работу выполнять с требуемой интенсивностью.

Но природа не терпит дисбалланса, любое действие порождает противодействие. Недобросовестные сотрудники изобретают самые разнообразные способы, чтобы обмануть программы контроля.

Почему возможно обмануть программу контроля сотрудников

Как это можно сделать?

Чаще всего программы учета рабочего времени имеют функции:

Другая информация об активности на компьютерах обычно не собирается. Более того, облачные версии таких программ зачастую не делают даже скриншотов экранов мониторов компьютеров, либо хранят их совсем недолго, чтобы не занимать место в хранилище.

Т.е. по сути администратор такой программы в основном полагается на предоставляемые ею цифры и, что называется, «идет по приборам», как в подводной лодке.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Наиболее частые способы обмана систем учета рабочего времени

Рассмотрим основные приёмы, используемые на практике недобросовестными сотрудниками и посмотрим, почему они неэффективны там, где установлена программа Lanagent.

Итак, чтобы опоздать или наоборот, раньше сбежать с работы, а, может быть даже и прогулять денёк, можно попросить добросовестного коллегу включить компьютер в начале рабочего дня, а в конце – выключить.

Но веб камеру не обманешь, она с равными промежутками времени делает снимки того, кто работает за компьютером. Можно, конечно, заклеить окно камеры, но отсутствие изображения с неё будет сразу обнаружено. Кроме того, программа зафиксирует отсутствие рабочей активности, что будет подтверждено скриншотами и записями кейлоггера.

Идём дальше. Попробуем обмануть программу, имитируя активную деятельность, то есть нажатия клавиш и движения мышки. Будем имитировать активность с помощью каких-то приспособлений. Их можно придумать великое множество, от простых – положить предмет на клавиатуру или воткнуть монетку между клавиш, до замысловатых, например двигать мышку, привязав к ней парус и включив вентилятор «подхалим», который поворачивается и меняет направление движения воздуха. Можно использовать и механическую игрушку, привязанную к мышке и совершающую хаотические движения.

Программа Lanagent действительно зафиксирует активность пользователя, но только в одном открытом приложении или программе, а снимки с веб камеры и скриншоты подтвердят отсутствие продуктивной деятельности пользователя.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Как иногда хочется расслабиться на рабочем месте, посмотреть видео или почитать книжку. Вот и откроем экран с нужным содержимым, а поверх него разместить окно с рабочей программой, предварительно уменьшив его, что бы не мешало развлекаться.

Lanagent, конечно, зафиксирует открытие рабочей программы, но скриншоты сделают тайное явным. Кроме того, при настройке Lanagent можно запретить использование определённого рода программ и посещение непродуктивных сайтов.

Для продвинутых пользователей есть «возможность» поиграть в рабочее время в любимую игру, установленную на домашнем компьютере. При помощи подключения через Remote Desktop и запущенном на рабочем компьютере клиенте RDP, развлекаетесь сколько душе угодно. Система ведь будет считать программу RDP продуктивной.

Но, руководитель, с помощью скриншотов, снятых программой Lanagent, безусловно вскоре разоблачит этот манёвр.

Можно попытаться применить ещё одну уловку – запустить виртуальную машину, то есть получить компьютер в компьютере, но уже без контроля. Однако, для этого нужен сговор с администратором сети, так как для этого потребуются его права. Да и с помощью настроек Lanagent можно просто запретить подобные фокусы.

Есть, конечно, и «гениальные» способы: установить на компьютер или подключить к нему через USB порт устройство, генерирующее активность, но аналитические способности Lanagent выявят нетипичную деятельность пользователя и просигнализируют администратору.

Необходимый набор функций устойчивой к обману системы контроля сотрудников

Подведем итог по необходимым функциям, которыми должна обладать программа для контроля работы пользователя компьютера, чтобы ее нельзя было обмануть:

Разумеется, у администратора программы контроля сотрудников должна быть также возможность отключать ненужные функции и настраивать имеющиеся для повышения эффективности системы.

Итак, очевидно, что все распространённые способы обмана программы учёта и контроля рабочего времени бессильны, когда применяется Lanagent. Но надо помнить, что программа – это всего лишь инструмент, который будет эффективным помощником только в руках грамотного добросовестного специалиста, регулярно контролирующего результаты её работы, не игнорирующего её сигналы, внедряющего постоянно появляющиеся обновления.

Источник

Обман налогоплательщиков раскрыт

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Вопрос относительно обмана касается автоматизированной системы по уплате НДС. Основой схемы является корректировочная декларация, возможность подать которую налогоплательщикам обеспечили в благих целях – для моментального исправления ошибок, что не влечет административной ответственности для субъекта.

В чем суть вопроса

Суть вопроса в том, что изначально подается первичная декларация с начисленными как полагается НДС. Далее используется корректировочная декларация с номером, обнуляющим все показатели.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Где тонко там и рвется

В ходе проведенных изучений сотрудниками счетной палаты были обнаружены ошибки в работе системы АСК НДС-2. По мнению совершающих контроль сотрудников, именно эта уязвимость и стала причиной для утечки реальной информации и обманных действий налогоплательщиков.

Создали систему АСК НДС-2 еще в 2015 году, она полностью автоматизирована, что позволяет ей моментально определять расхождения в формировании НДС.

Видео посвящено риск-ориентированному подходу и автоматизированным системам АСК НДС-2 и АИС Налог-3:

Однако мошенники нашли возможность даже полностью автоматизированный процесс обмануть и использовать его погрешности в своих целях. В центре обмана находится корректировочная форма декларации.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

По каким правилам осуществляется получение налоговых уведомлений и кому они направляются – узнайте в статье на сайте.

Нюансы действия обмана

Разработчики при создании системы заложили в нее возможность корректировки при неверно указанных цифрах. При этом нумерации подлежат все созданные декларации вне зависимости от их статуса – основные или корректировочные.

Также имеется определенная особенность такой нумерации – указание номера для корректировочной декларации выше нежели для исходной. И эту особенность использовали мошенники.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыКак работала схема обмана? Фото: openlistings.com

Исходя из полученных нюансов и особенностей можно сложить схему действий мошенников шаг за шагом:

Изучив все действия налогоплательщиков, ведомство уверяет в быстрейшем устранении неполадок.

Как и по каким правилам произошло изменение критериев малого бизнеса, что говорят в правительстве – читайте в публикации на сайте.

Как работает АСК НДС

История появления и развития автоматизированной системы началась еще в 2013 году. Тогда была запущена первая ее версия, которая на протяжении 2 лет усовершенствовалась и к 2015 году появилась новая система АСК НДС-2. При этом подача деклараций через электронный формат стала обязательной для всех.

Важно: в феврале 2018 года началось тестирование третьей версии.

Задача любой версии автоматизированной системы изучать декларацию и проводить сверку контрагентов и компаньонов, за счет чего будут выявлены расхождения. Итогом проверки станет определение расхождения в суммах или наличие разрыва, если контрагент не отразил сделку в декларации и сдал ее или же он отсутствует как зарегистрированный налогоплательщик.

Важно: программа, которую начали тестировать в 2018 году сможет контролировать перемещение средств на счетах налогоплательщика.

Зачем нужна глобальная контрольно-аналитическая система ФНС РФ:

Источник

Как обойти систему контроля? 7 уловок полевых сотрудников

Контроль удаленного персонала — головная боль FMCG-компаний. Они покупают SFA-систему, устанавливают мобильное приложение на устройство сотрудника, и видят, что делает торговый представитель или мерчандайзер в рабочее время — действительно работает или чай в кафе пьет.

Но некоторые полевые сотрудники любят и умеют обходить системы контроля. Рассказываем о самых распространенных схемах и лайфхаках, которые помогут руководителям sales force предотвращать нарушения регламентов.

Суть схемы. Сотрудник из дома открывает визит в мобильном приложении, вносит фейковые остатки и формирует на их основании заказ. В систему попадут недостоверные данные, торговая точка останется с пустыми полками или будет «перетарена».

Лайфак для руководителя. В бизнес-приложение должен быть встроен механизм контроля GPS. Хороший инструмент позволяет сделать фиксацию координат обязательным шагом, тогда визиты без координат можно не засчитывать и не оплачивать.

Суть схемы. Сотрудник начинает визит в торговой точке, фиксирует координаты и уезжает. Факт посещения в системе подтвержден, но работа с точкой не проводилась или была сделана не полностью.

Лайфак для руководителя. Ищите приложение, которое умеет фиксировать координаты начала и окончания визита. Идеально, если данные по сотруднику и по команде автоматически агрегируются в отчеты.

Суть схемы. Некоторым полевым сотрудникам не везет: садится батарейка, падает сеть, отключается датчик GPS. Технические сбои могут быть прикрытием для схем «диванный визит» или «короткие перебежки». Супервайзер не в состоянии проверять каждое посещение, и компания не представляет масштабы бедствия.

Лайфак для руководителя. Такая проблема не возникнет, если мобильное приложение умеет запрещать оформление визита, когда сотрудник удален от точки больше, чем на 200 метров. Технический сбой? Неправильные координаты? Пусть оформит разрешение на работу у супервайзера, а система зафиксирует эту информацию для отдельной проверки.

Суть схемы. Сотрудник устанавливает эмулятор датчика GPS и указывает фейковые координаты торговой точки (а сам — снова на диване).

Лайфак для руководителя. Установите сотрудникам приложение, которое не запустится, если обнаружит в памяти смартфона софт для подмены координат. Ищите такого разработчика, который постоянно обновляет защиту мобильного приложения.

Суть схемы. Sales force собирают важную для производителя информацию: фейсинг, долю полки, ценники, прайс-промо, размещение ДМП и так далее. Тут часто включается человеческий фактор: сотрудники ленятся, вносят цифры «с потолка», торопятся или ошибаются. В систему снова попадают некорректные данные.

Лайфак для руководителя. Запрашивайте фотоподтверждение выполненных задач. Для мерчандайзера это может быть фото полки «до» и «после», для аудитора — фото выкладки конкурента и т.д.

Суть схемы. Против фотоподтверждения тоже есть прием: можно сделать несколько фотографий идеальной выкладки и прикреплять их к визитам. На полке бардак, но бонус агент получит.

Лайфхак для руководителя. Чтобы бороться этой схемой, разработчики внедряют в приложение собственную камеру. Она не позволяет прикреплять снимки из памяти телефона и дополнительно «пришивает» к фото данные о ТТ, координатах, времени съемки и др.

Перечисленные кейсы встречаются достаточно часто, и хорошие мобильные приложения умеют их предотвращать. Но есть случаи, когда программное обеспечение бессильно.

Например, нам встречались полевые сотрудники, которые:

Такие вещи все равно рано или поздно вскрываются — например, при тщательной проверке визитов аудитором или при личном прохождении маршрута супервайзером.

По отзывам крупнейших игроков FMCG, эффект приносит только системное отслеживание «полей» и быстрая реакция на прецеденты. В «ST Чикаго» за 20 лет накоплен огромный опыт предупреждения фальсификаций. Это позволяет решить 96% возможных проблем. А оставшиеся 4% — область для исследования и превращения в точку роста для системы контроля.

Источник

Четыре способа обмануть нейросеть глубокого обучения

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Нейросети используются уже довольно широко. Чат-боты, распознавание изображений, преобразование речи в текст и автоматические переводы с одного языка на другой — вот лишь некоторые сферы применения глубокого обучения, которое активно вытесняет другие подходы. И причина в основном в более широких возможностях обобщения при обработке больших объёмов данных.

А что насчёт целенаправленных атак? Можно ли использовать особенности работы нейросетей и создать такие данные, которые будут классифицироваться ошибочно? В этой статье мы рассмотрим несколько способов дополнения данных, которые сводят с ума нейросети глубокого обучения. И что ещё интереснее, эти данные для человека выглядят неизменёнными.

Структура статьи

В статье использован ряд исследовательских работ, посвящённых состязательному обучению (adversarial training).

Вам пригодятся базовые знания о нейросетях вроде градиентного спуска (Gradient Descent).

Объяснение и примеры использования состязательного обучения

Вероятно, это одна из первых работ, где продемонстрировано, как исказить пиксели изображения, чтобы классификатор принял ошибочное решение. В основе метода лежит факт, что изображения обычно представлены в виде 8-битных значений (каждый пиксель может иметь только одно целочисленное значение в диапазоне от 0 до 255, то есть в сумме 2⁸ значений). Следовательно, если искажения не превышают минимального значения, которое может быть представлено в изображении, то классификатор должен полностью их игнорировать и считать искажённое изображение неизменённым. Но авторы показывают, что это не так.

Они определяют ошибочную классификацию входных данных уравнением

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— входные данные, предназначенные для введения нейросети в заблуждение.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— выходные данные классификатора по неизменённому изображению (которое классифицируется корректно).

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— этот компонент уравнения интереснее. Это специальный вектор, добавленный к исходным входным данным таким образом, чтобы вся сеть приняла ошибочное решение о классификации. То есть уравнение читается так: «Сеть может ошибиться в классификации, если к оригинальным входным данным добавлены такие данные, что получившийся результат заставляет нейросеть отнести его к другому классу». Это совершенно очевидное определение. Куда интереснее, как находить значение За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыопределяется так:

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— это знаковая функция (sign function). Она отвечает лишь за знак значения. Если значение положительное, функция равна 1, если отрицательное, то –1.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— это градиенты (относящиеся к входным данным).
За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— функция стоимости (cost function), используемая для обучения нейросети.
За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— параметры модели.
За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— входные данные.
За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— целевые выходные данные, то есть «ошибочный» класс.

Поскольку вся сеть является дифференцируемой, значения градиента можно легко найти с помощью метода обратного распространения ошибки (backprop).

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы
С помощью градиентных значений панда классифицируется ошибочно

Следовательно, изменив входные данные и выяснив с помощью анализа, какое направление нужно изменить (применив информацию о градиентах), можно легко заставить сеть неправильно классифицировать изображение. На картинке выше За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— величина градиентов, которые применяются к изображению (в данном случае За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыравна 0,007).

Однопиксельная атака, призванная обмануть нейросети глубокого обучения

В предыдущей работе для обмана нейросети искались небольшие изменения для целого изображения. А здесь авторы пошли ещё дальше. Они утверждают, что не требуется изменять всё изображение. Вместо этого достаточно изменить небольшую часть, чтобы получившаяся картинка была ошибочно отнесена к другому классу.

Для заданных входных данных За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системывероятность принадлежности За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системык классу За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыравна За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы. Задача описывается уравнением

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— оптимизируемый вредоносный класс (adversarial class).
За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— вредоносные данные (adversarial data) (такие же, как в предыдущей работе), которые добавляются ко входным данным. Однако в данном случае у За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыесть ограничение:

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Эта формула означает, что количество элементов в векторе За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыдолжно быть меньше настраиваемого параметра За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы. За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыозначает нулевую норму (0th norm) — количество ненулевых элементов в векторе. Максимальное значение элементов, генерируемых За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы, ограничено, как и в предыдущей работе.

Как найти правильный вектор нападения

В предыдущей работе для оптимизации ради получения правильных значений вредоносных данных использовался метод обратного распространения ошибки (backprop). Я считаю, что нечестно давать доступ к градиентам модели, поскольку становится возможным понять, как именно «думает» модель. Следовательно, облегчается оптимизация для вредоносных входных данных.

В данной работе авторы решили их не использовать. Вместо этого они прибегли к дифференциальной эволюции (Differential Evolution). При таком методе берутся образцы, на основе которых генерируются «дочерние» образцы, а из них потом оставляют лишь те, что получились лучше «родительских». Затем выполняется новая итерация генерирования «дочерних» образцов.

Это не позволяет получить информацию о градиентах, и находить правильные значения для вредоносных входных данных можно, не зная, как работает модель (это возможно, даже если модель не будет дифференцируемой, в отличие от предыдущего метода).
Вот что получилось у авторов:

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы
Результат однопиксельной атаки. В картинках изменено всего по одному пикселю, и в результате нейросеть классифицировала их неправильно. В скобках указана ошибочная категория после атаки

Для CIFAR 10 значение За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системыоставалось равным За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы, то есть изменять можно было только один пиксель. А конкурент смог обмануть классификатор, и тот относил изображения к совершенно другим классам.

Вредоносная заплатка

Вредоносная заплатка (adversarial patch) — совсем свежая (и очень популярная) методика генерирования вредоносных изображений. В предыдущих двух методиках вредоносные данные добавлялись к исходным входным данным. Это означает, что вредоносные данные зависят от самих входных данных.

Авторы вредоносной заплатки подбирают некие данные, которые подходят для всех изображений. Термин «заплатка» в данном случае нужно понимать буквально: это изображение меньшего размера (относительно входных изображений), которое накладывается поверх входных, чтобы обмануть классификатор.

Оптимизация работает в соответствии с этим уравнением:

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— подобранная заплатка.
За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— целевой (т. е. ошибочный) класс.

Здесь интересно вот что:

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

Это функция применения заплатки. По сути, она просто решает (случайным образом), куда и как накладывать заплату на входное изображение. За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— сам патч. За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— входное изображение. За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— место наложения заплаты. За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы— преобразование заплаты (например, масштабирование и вращение).

Важно отметить, что применительно к вышеприведённому уравнению система обучалась на всех изображениях в датасете (ImageNet), на всех возможных преобразованиях. И заплата обманывала классификатор на ВСЕХ изображениях датасета. Это главное отличие данного метода от двух предыдущих. Там нейросеть обучалась на одном изображении, а этот метод позволяет подобрать заплату, которая работает на большой выборке картинок.

Заплатку можно легко оптимизировать с помощью метода обратного распространения ошибки.

Попробуйте сами

В авторской работе приведено изображение заплатки, которую можно накладывать на ваши изображения для обмана классификатора. Заплатка сработает, даже если распечатать и положить её рядом с физическим объектом.

За счет чего можно обманывать автоматизированные системы. Смотреть фото За счет чего можно обманывать автоматизированные системы. Смотреть картинку За счет чего можно обманывать автоматизированные системы. Картинка про За счет чего можно обманывать автоматизированные системы. Фото За счет чего можно обманывать автоматизированные системы

«Вы это слышали»? Атака на системы распознавания речи

Обдурить можно не только модели, классифицирующие изображения. Авторы этой работы демонстрируют, как ввести в заблуждение модели автоматического распознавания речи.

Особенность звуковых данных в том, что входные данные нельзя легко изменить с помощью метода обратного распространения ошибки. Причина в том, что входные данные для звукового классификатора проходят через преобразование, для которого требуется вычислить коэффициенты косинусного преобразования Фурье (Mel Frequency Cepstral Coefficients, MFCC), они затем используются в качестве входных данных для модели. К сожалению, вычисление MFCC не является дифференцируемой функцией, поэтому оптимизировать входные данные с помощью метода обратного распространения ошибки не получится.

Вместо этого авторы использовали генетический алгоритм, аналогичный рассмотренному выше. Входные родительские данные модифицируются, в результате получаем дочерние данные. Сохраняются те «потомки», которые лучше обманывают классификатор; они, в свою очередь, тоже модифицируются, и так раз за разом.

Заключение

Глубокое обучение — превосходный инструмент, и он будет использоваться всё шире. И очень важно знать, каким образом можно обмануть нейросети, заставив их неверно классифицировать. Это позволяет оценить границы предположительного обмана подобных систем и найти способы защиты.

Ещё один метод обмана разработан в MIT, но работа пока не опубликована. Утверждается, что этот метод позволяет добиться 1000-кратного ускорения генерирования вредоносных входных данных. Анонс исследования можно посмотреть здесь.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *