Для чего нужен osint
Osint-San — инструмент, с которым можно стать кибердетективом
Привет Хабр! С вами Горшков Максим, специалист по информационной безопасности Cloud4Y. Мне выпала честь первому протестировать новый инструмент киберразведки: OSINT SAN. Разрабатывал его мой коллега по ИБ Максим Пономарёв (Bafomet).
Что это и зачем
Bafomet решил создать своими руками доступный и быстрый инструмент для Osint по принципу «все в одном», аккумулировав разработки и технологии сторонних служб. Зачем нужен OSINT-SAN, если все включённые в него сервисы можно найти в интернете? Ответ прост: time is money. В эпоху больших данных экономия времени является одним из решающих аргументов. Вместо кучи открытых вкладок и создания платных аккаунтов можно получить всё на одном экране. Информация поступает в один клик моментально, и, что важно для пентестеров, в рамках пассивной разведки.
Что умеет OSINT-SAN
Что предлагает новая версия OSINT-SAN Pro 3.0?
Инструмент работает на Unix системах. Я установил на Parrot OS. Установка несложная, требуется python3. Скачиваем каталог, устанавливаем зависимости. Подробная инструкция есть в телеграм-группе проекта.
Видим меню с большим количеством разделов. Разберу их детально, выбрав объектом исследований Cloud4Y:
1) Сканирование IP через известным в ИБ кругах сервисе SHodan.
2) Комбайн пассивной разведки веб-инфраструктуры, позволяющий получить всеобъемлющую информацию о веб-инфраструктуре компании.
Проверим, как работают некоторые функции. Например, сервис обнаружил установленный CMS меньше чем за секунду.
Краулер высасывает данные сайта и сохраняет в нашем каталоге для исследования.
3) Карта DNS. Удобно, красиво. Очень информативное оформление. Не готов демонстрировать ресурсы компании, а чужие уже противозаконно.
4) Проверяем, насколько глубока кроличья нора. Инструмент понадобится для работы с развитыми SOC или просто хитровымудренными ИБ.
5) Заводим IP и получаем несколько источников геолокации. Получается пробив IP на максималках.
8) История доменного имени. Хороший вариант разведки в некоторых случаях.
10) Парсит все упоминания email на сайте на лету. Социальным инженерам, фишерам — раздолье.
11) Поиск информации о мобильных устройствах. Модуль ищет по БД. Слабоват, но думаю будет совершенствоваться
12) БД утечек email-паролей. Ввёл один знакомый email и получил информацию по утечкам в 10 сервисах. Модуль будет полезен при разборе инцидентов.
13) Анализирует по БД репутацию, выставленную почтовыми сервисами email’у. Хороший сервис проверки мнимых контрагентов или других любителей социальной инженерии по email.
14) Android Debug Bridge. Так называется модуль, который 100% образует уголовную ответственность по ряду статей УК РФ (например, 137 УК РФ, 272 УК РФ). С этой функцией будьте крайне аккуратны. Прошу использовать только для ознакомления. Позволяет получить управление устройством через включенный режим отладки. Инструкций предоставлять не буду. Работает с помощью модулей классического Metasploit Framework
15) Про Bigbro я уже рассказывал. В этот раз добавлены более совершенно написанные фишинговые страницы для деанона по JS.
16) Удобный отчет с shodan.io – известного сервиса поиска уязвимостей на веб-ресурсах со встроенным api.
17 и 18) Поиск Метаданных, данных о данных. Если вы юный кулхацкер, можете попросить девушку прислать фотографию с её телефона. А затем удивить её тем, что будете знать всё о ее телефоне и месте съемки. 18 Пункт на основе ИИ распарсит сеть на похожих людей. Работает через онлайн-сервисы.
19) Сбор данных по одноименной сети zoomEye
20) Ещё один способ «найти по IP»
21) Деанон по Telegram. На скриншоте ниже — деанон «хакера» из группы «анонимус» (судя по его аватарке «Гая Фокса»). Куча данных, телефоны, смены ников, устройства… Вот вам еще один звонок, что невинно оставленное согласие на обработку «куков, данных, других согласий» может привести к полному деанону.
23) Библиотека по ОСИНТ ресурсам в сети:
24, 25) Поисковики с разумными алгоритмами. Ищут без рекламы и всякого лишнего мусора, что удобнее обычного поисковика.
26) Вы ведь помните, что все транзакции в цепочках биткойн сохраняются навсегда? Если установить ваш биткойн-кошелек, то можно видеть все ваши доходы и расходы. Вот вам пример:
27) Розыск по авто, открывается сторонний веб-сервис.
Другие модули соответствуют названию и не требуют расшифровки.
Что по итогу? Получился готовый продукт, который рекомендую взять на вооружение всем пентестерам, специалистам по Osint или детективам. Однако хочу напомнить, что информация находится под защитой у государства (рекомендую ознакомиться с 152, 149 ФЗ РФ), любые неявные действия с данными другого лица могут привести к санкциям (административным, уголовным). Пользуйтесь подобными инструментами только в рамках закона.
Спасибо за внимание.
Что ещё интересного есть в блоге Cloud4Y
Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем не чаще двух раз в неделю и только по делу.
Применение OSINT в расследованиях
Sep 6, 2019 · 9 min read
Также читайте меня тут: Telegram и Вконтакте
Сегодня речь у нас пойдет об одном из основных инструментов, который я и мои коллеги используем в своей практике расследований — OSINT.
У меня есть исчерпывающий лонгрид об OSINT, поэтому для полного понимания, что это за такая сфера деятельности, рекомендую ознакомиться с материалом тут.
OSINT (Open source intelligence) — разведка на о снове открытых источников (если дословно). Часто можно встретить еще несколько терминов: конкурентная разведка, интернет-разведка, бизнес-разведка и прочее. Как не назови, суть от этого не изменится. OSINT — это набор из разных инструментов, которые позволяют нам эффективно искать, собирать и анализировать информацию из открытых источников (по большей части из интернета) с целью получения какого-либо конкурентного преимущества.
Далее мы разберем самые частые задачи, которые приходится решать с помощью инструментария OSINT в расследованиях. Цель всей статьи — это показать ключевые сферы применения OSINT, а не как именно это работает. По поводу методов можно более подробно почитать по ссылке, которую я оставлял выше.
“Пробей человечка”
Самый популярный тип кейса — это сбор информации о физическом лице. Я осознанно не употребляю слова “пробей” (кроме заголовка), потому что очень его не люблю. Мне оно кажется неким пережитком из 90-х годов. Плюс ко всему, термин “пробив” — не самая лучшая ассоциация с темой расследований, так как он находится в серой, а зачастую, и в черной зоне законодательства. Поэтому данная услуга называется “составление справки на физическое лицо” (иногда это можно назвать досье). В некоторых кругах это еще называется “объективкой”.
Как это выглядит?
Все всегда зависит от задач, которые ставит заказчик, но самый популярный тип справки, это так называемый, общий формат. Туда обычно входят общие сведения о человеке: ФИО и год рождения, прописка, место жительства, родственники, контакты, место работы, социальные сети, судимости (если есть), проблемы с налогами или банками (если имеются), имущество и прочие вещи. Бывают задачи и посложнее, но о них говорить не будем, потому что это редкая история. После того, как у заказчика появляется на руках такая справка, он сразу может получить некое представление о искомом человеке и составить свое мнение о нем. Часто вместе с таким “цифровым профилем” мы так же делаем и профиль поведенческий, который дает полное понимание о том, как взаимодействовать с человеком в контексте любой задачи.
Зачем воообще такое заказывают?
Чтобы ответить на вопрос зачем, для начала разберемся кто заказывает такое чаще всего:
Можно еще много кого перечислить, но эти три категории самые широкие, если так можно выразиться.
Самая частая необходимость в составлении справки возникает у компаний, которые принимают на работу нового сотрудника и им нужно понимать его благонадежность. Второе по важности — это подготовка к переговорам. Всегда заранее хочется понимать с каким человеком придется разговаривать. Ну и третье — когда человек проходит по какому-то расследованию внутри компании, необходимо понимать его подноготную.
Итого мы имеем три основных причины:
Справедливости ради стоит сказать, что бывают случаи, когда данную услугу заказывают просто обычные люди из серии: “я познакомился с девушкой/парнем и хочу быть в ней/нем уверен”. Но, такое попадает к нам редко.
“Найди человечка”
Данный тип кейсов кардинально отличается от предыдущего. Когда мы делаем справку на человека, ее целью является получение систематизированная информация об объекте и не более. В случае с поиском — это всегда комплекс из разных действий и даже смежных областей по типу профайлинга, потому что очень часто нужен поведенческий профиль человека для сужения поиска. Обычно в данном типе услуг просят две вещи: понять физическое местонахождение человека (читайте об этом мою статью тут) в данный момент, или понять, кто скрывается под фейковым аккаунтом. По другому это можно назвать “ деанон” (раскрытие реальной личности человека).
Зачем это нужно и кому?
Тут вопрос более открытый, нежели в предыдущем случае. Сначала надо понять в каких случаях ищут человека.
Ну, собственно, исходя их этих пунктов, понятно кому чаще всего такая услуга нужна: любому человеку, так как специфика данного типа кейсов очень обширна.
По опыту могу сказать, что такой тип расследований не всегда заканчивается успешно, потому что есть множество технических причин, которые не позволяют в той или иной ситуации до конца выполнить задачу.
“А мы можем с ними работать?”
Одной из ключевых потребностей любой компании является работа с белыми контрагентами. Ни кто не хочет иметь дел с какой-то компанией «однодневкой» или мошенником. Все хотят быть уверены в своих партнерах или клиентах. Так же всегда интересно понимать подноготную своих конкурентов. Именно по этой причине услуга «пробей мне фирму» актуальна сегодня как никогда.
В основном, проверка юр.лица идет, в большинстве случаев, одновременно с проверкой какого-то человека (например ген.дира). Отдельная проверка контрагента понемногу теряет свою актуальность для большинства компаний по причине того, что сегодня на рынке есть готовые автоматизированные решения, которые выдают отчет за пару минут. Естественно, есть несколько «но».
”Слышал новость?”
Одной из самых нестандартных задач является так называемая “определение валидности новости или какого-то события”. Что это такое? Все из вас наверняка слышали термин “фейк-ньюз”. Странно, что термин появился относительно недавно, потому что в реальности он существует уже далеко не один век. Всегда велись информационные войны и все государства использовали инструмент дезинформации для достижения каких-то целей. Всем это очевидно. Разница с сегодняшним днем лишь в том, что технические возможности шире и есть массовая площадка для распространения новостей — интернет.
Что за формат кейсов иногда приходится решать в рамках данной темы? Самое простое — это сбор доказательной базы о правдивости той или иной новости/события. Возьмем совершенно абстрактный пример. К примеру, вышла новость, что был построен какой-то завод по переработки чего-либо и он вредит местным жителям, потому что много отходов и прочее. Мы открываем гугл-карты и видим, что на месте, которое упоминается в новости, находится чистое поле размером километров 10. Почему можно поверить гугл-картам в данном случае? Дело в том, что спутниковые снимки сегодня довольно часто обновляются, поэтому информация валидная. Это, возможно, крайне примитивный пример, но зато понятный.
Более сложный вариант, когда идет разговор о репутации человека. Ни для кого не секрет, что сегодня часто бывают заказные дела на то, чтобы дискредитировать какого-то человека. Чаще всего мы в работе сталкиваемся с тем, что такие атаки направлены на разных собственников бизнеса и заказ идет от конкурентов. В общем-то классическая история. В данном случае ведется работа на сбор доказательной базы о том, что все новости и вбросы фейковые, для того, чтобы сохранить репутацию клиента.
Важное замечание: в начале таких кейсов мы всегда проверяем на сколько наш клиент виновен в том, о чем говорят или пишут. С мошенниками мы не работаем.
Если подвести итог, все это относится к теме “информационных войн” в разных проекциях. По моему мнению — это самые сложные кейсы ну и они возникают довольно редко. Про эту тему я еще напишу как-нибудь пост.
“Нам бы документик найти”
Если вы работаете в какой-либо частной или государственной структуре любого размера, готов поспорить, что хотя бы один раз за все время работы вы слышали от коллег или сталкивались сами со следующим неприятным случаем. В открытом или “условно” открытом доступе вы находили какой-то документ вашей фирмы. Это может быть что угодно, начиная от экселевской таблицы со списком сотрудников и их зарплат, заканчивая грифованными внутренними документами компании. Если вы думаете, что такого не бывает, то знайте, что вы находитесь в мире иллюзий. У каждой второй компании есть такого рода “дырки” и, как показывает мой опыт:
а) эти дырки не закрывают месяцами и годами;
б) таких дырок обычно несколько;
в) они есть у любых компаний в независимости от их величины, оборотки или репутации.
В связи со всеми этими фактами, мы периодически делаем базовый пентест (тест на защищенность) компаниям по этому направлению.
Такую же проверку на “уязвимости” мы делаем и людям. Есть ли где-то в открытом доступе их личные документы (по типу сканов паспорта или водительских прав), фото и прочее.
Другой интересный вариант кейсов, это когда компания хочет получить конкурентное преимущество в отрасли. Если, к примеру, к конкуренту попадает на руки какой-нибудь бухгалтерский отчет или экселевская табличка с зарплатами и мотивацией сотрудников вашей компании, хорошего в этом мало. Умный руководитель начнет переманивать сотрудников на более выгодные условия, как вариант. Это частный пример и не будем особо углубляться в корпоративные войны. Основной посыл в том, что специалист OSINT’ер может найти такие документы и передать их заказчику абсолютно по закону. Если такие документы были найдены с помощью открытых источников, то они становятся публичными.
PS: в связи с постоянными утечками ПДн, особое направление в расследованиях приобретает история с поиском источников утечки.
Можно вспомнить еще много разных случаев с поиском документов, но самое основное я описал.
«Комплексные расследования»
Ну и теперь давайте подведем некий итог. Проще всего будет описать более-менее простой алгоритм какого-нибудь кейса, чтобы было более наглядно видно, как именно переплетаются все инструменты OSINT в контексте расследования.
1️⃣ Фабула кейса:
Есть заказчик в лице ген.дира компании, которого “кинул на деньги” партнер по бизнесу и уехал в неизвестном направлении.
2️⃣ Задача:
Нужно найти негодяя для того, чтобы передать его в руки полиции, так как есть вся доказательная база. По сути, нужно определить физическое местоположение.
PS: может возникнуть логичный вопрос, почему сразу не передать дело в полицию? Ответ очевиден: можно и нужно, но как показывает практика, искать они его будут долго и хорошо, если найдут. Дело не в их квалификации, а скорее в загруженности.
3️⃣ Исходные данные по злоумышленнику:
ФИО и год рождения, фото, паспортные данные.
4️⃣ Решение:
1. Для начала была сделана полная справка на объект по всем классическим маркерам.
2. Вторым шагом был составлен поведенческий профиль объекта для понимания того, как на него нужно воздействовать и влиять, если получится вступить с ним в диалог. Так же это помогло сузить поиск физического местоположения.
3. Встал вопрос, как выйти на объект в контексте “пообщаться”, потому что, естественно, зарегистрированных на него номеров телефонов не было, а старые не работали. Самое очевидное — поиск соц.сетей.
4. Поиск по фото ничего не дал. Объект ни где не светился.
5. В один момент мы обращаем внимание на название его старой почты (допустим “mehanik-64”). Это наводит на мысль о том, что это может быть его ником, которым он пользуется и посей день.
6. Ищем этот ник везде, находим форум любителей и заводчиков голубей. Заходим в профиль к mehanik-64. В профиле была дата и год рождения (они совпадали с нашим объектом). Далее начали листать фото и на одной из них вдалеке виднелась машина. Увеличили номер, машина числилась за бывшей женой объекта. После этого нам стало ясно, что это точно профиль того, кого мы ищем.
7. Самым очевидным решением дальше было достать все фото из его профиля и посмотреть метаданные. Бывает такое, что внутри может быть гео-привязка места, где было сделано фото. Это ничего не дало.
8. Поиск по картам местности тоже ничего не дал, так как было слишком мало точек-высот, к которым можно было сделать привязку.
9. Далее самое очевидное — вступить в контакт под легендой и подстроиться под поведенческий профиль объекта, чтобы вытянуть информацию. Для этого на протяжении двух дней мы читали разные статьи о породах голубей, чтобы усвоить хотя бы немного сленговых выражений. Пока мы все это читали, выяснили, что любимая порода голубей у нашего объекта — Бакинские.
10. После подготовки, написали ему в ветке форума, что восхищаемся его голубями и всякое такое. После перешли в личные сообщения, где попросили покидать больше фоток его птиц. И, о чудо, на первой же фотке в метаданных мы обнаружили координаты. Мы были уверенны, что фото сделаны именно в момент переписки, поэтому местоположение свежее. В общем эти сведения мы сразу же передали заказчику и буквально на следующий день утром к объекту “постучали в дверь”.
Этот кейс мог решиться многими другими способами, но решился именно так. Я просто описал вам порядок наших действий в данном расследовании для понимания комплексности подхода и как именно помогает OSINT в решении таких задач.
В заключении хочется еще раз подчеркнуть тот факт, что данная статья раскрывает только самые частые сферы применения OSINT исходя из нашего опыта работы. Методы и инструменты я тут не описывал осознано. Для тех, кто хочет больше окунуться в тему OSINT, вот моя комплексная статья.
Надеюсь, вам было полезно и интересно!
Также читайте меня тут: Telegram и Вконтакте
OSINT по-русски. Выбираем мощные и бесплатные сервисы для пробива и конкурентной разведки
Содержание статьи
OSINT (Open Source INTelligence) — это разведка по открытым источникам, то есть поиск информации о человеке или организации по базам данных, которые доступны всем. Этим занимаются как специальные организации и службы, так и компании (чтобы проверить сотрудников или узнать больше о конкурентах) и просто люди, когда хотят получше узнать, с кем они общаются в интернете и не окажется ли «серцеед888» маньяком‑убийцей.
Мы собрали список сервисов, которые помогут в этом. Упор сделан на сайты, ориентированные на РФ, поскольку в разных странах форматы данных отличаются и это затрудняет поиск.
warning
Несанкционированный сбор персональной информации — это нарушение закона «О персональных данных» и других законов РФ. Также подобные действия могут образовать состав преступления по статье 137 УК РФ «Нарушение неприкосновенности частной жизни». Ни автор, ни редакция не несут ответственности за любые последствия использования приведенных в этой публикации сведений. Вся информация представлена исключительно ради информирования читателя.
Надеемся, эта подборка позволит читателю накопать много полезной информации, а возможно, даже избежать проблем. Однако, если у тебя возникнут сомнения в законности твоих действий, помни, что никогда не поздно прекратить. В любом случае ты действуешь на свой страх и риск.
Поиск по email
Emailsherlock.com — автоматический поиск по email-адресу. Найдет, к каким сайтам привязан адрес почты.
Проверка по нескольким почтам дала не так много результатов, как хотелось бы. Поиск ограничен только самыми популярными сайтами (соцсети). Еще из минусов – сайт по‑черному пиарит сторонние сервисы, не все из которых даже живы, но почти все просят денег.
Emailrep.io находит, на каких сайтах зарегистрированы аккаунты, использующие определенную почту.
Проверка репутации ящика
Дополнительно на основе проверки по спам‑базам, а также базам вредоносной активности сервис проверяет репутацию аккаунта: в частности, не попадался ли он в утечках.
Поиск по никнейму
Часто поиск по email не дает много результатов. В таких случаях стоит поискать по никнейму (часть до @ ) — обычно информации становится в разы больше.
WhatsMyName — это не просто сервис, а целый комбайн, который ищет по 280 сервисам!
WhatsMyName
Здесь можно сортировать сервисы по категориям, а еще есть возможность экспортировать результат поиска (URL найденных профилей) в нескольких форматах.
Сервис Usersearch.org предоставляет поиск не только по популярным соцсетям, но и по тематическим форумам и сайтам знакомств.
USERSEARCH.ORG
Выдача удобна тем, что ты не только получаешь список сервисов со ссылкой на аккаунт, но и для каждого сервиса есть ссылка на страницу удаления аккаунта, на случай, если это вдруг твой аккаунт. Также сервис может дополнительно искать по телефону, email и пробивать по базе HIBP.
SuIP.biz — постоянно обновляемая и обширная база сервисов с удобной выдачей. Время проверки — где‑то одна‑две минуты. Минус — деления на категории нет.
suIP.biz
По завершении поиска можно скачать отчет в формате PDF.
Instant Username Search — сервис с быстрой проверкой по популярным и не очень сервисам. У него в базе встречаются интересные тематические сайты, вроде MyAnimeList и Last.fm.
InstantUsernameSearch
Checkuser ищет по небольшому списку сайтов, а кроме того, позволяет проверять занятость доменного имени.
На сам поиск уходит примерно минута. Единый список ссылок из результатов получить нельзя.
Namechekup использует обширный список сервисов для проверки, которая, кстати, не занимает много времени.
Получить все ссылки разом здесь тоже нельзя.
Список веб‑сервисов у Namecheckr небольшой, но и проверка очень быстрая. Сами сервисы по большей части популярные и не очень соцсети. Проверяет и некоторые домены.
Отдельно существует сервис‑двойник под незамысловатым названием Namech_k. Он проверят упоминание конкретного юзернейма по десяткам сайтов. К тому же у сервиса есть свой API, чтобы можно было вызывать из скриптов.
Namech_k
В репозитории нашего соотечественника (и автора статьи в «Хакере») Soxoj есть большой список проверок, которые могут быть полезны для интернет‑розыска, и сервисов поиска по никнейму — спасибо ему! Здесь собраны такие утилиты, как Sherlock, Maigret, Snoop, sherlock-go и Investigo, каждая из которых зарекомендовала себя как неплохой инструмент для поиска и сбора открытых данных.
Чек‑лист Soxoj
Отдельно хотелось бы выделить и упомянуть утилиту Maigret.
Maigret
Она позволяет собирать досье на человека по имени пользователя, проверяя наличие учетных записей на огромном количестве сайтов (более 2300) и собирая всю информацию с доступных страниц. Не использует никаких ключей API. Это, кстати, форк другой OSINT-утилиты — Sherlock. Обрати внимание, что по умолчанию поиск запускается не по всем сайтам, а только по 500 самых популярных.
Поиск по номеру телефона
SpravkaRU.Net — весьма объемный телефонный справочник, который может искать также по ФИО.
К сожалению, домашними телефонами уже мало кто пользуется, а телефонные справочники по большей части ориентированы именно на них. Поэтому объемы информации не такие уж впечатляющие.
Microsoft позволяет проверять привязку номера к аккаунту на сайте account.live.com. Этим можно пользоваться!
Email2phonenumber собирает данные со страниц восстановления аккаунта во множестве сервисов и находит номер телефона.
Помимо этого, утилита может генерировать список номеров и перебирать сервисы на наличие номера телефона (где он указан в профиле).
Бот last4mailbot найдет последние четыре цифры номера телефона клиента Сбербанка.
last4mailbot
Поиск производится исключительно по email. Проверка нескольких почт, заведомо привязанных к Сбербанку, показала, что бот действительно выдает верные данные.
Продолжение доступно только участникам
Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Вариант 2. Открой один материал
Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.
Михаил Артюхин
Этому городу нужен новый герой, прошлого арестовали 😉