Для чего при разработке искусственного интеллекта используются базы данных
БАЗЫ ЗНАНИЙ В ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ
Ни для кого не секрет, что информационные технологии прочно вошли в современную жизнь. На сегодняшний день почти у каждого есть смартфон, ноутбук, планшетный компьютер и ещѐ множество других гаджетов, способных принести в нашу жизнь что-то новое или каким-то способом облегчить ее.
Сейчас в каждой отрасли нашей жизни используются современные технологии, которые основаны на информационных технологиях или в них есть подобие искусственного интеллекта.
Иску́ сственный инте лле́кт (ИИ, англ. Artificial intelligence, AI) — 1) наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ; 2) свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека.[1]
Но все современные устройства далеки от идеала, все они в какой – то степени используют искусственный интеллект. Но в мечтах ученых создать полноценный искусственный интеллект. Под эти ученые подразумевают искусственно созданное устройство, которое сможет не только запоминать какие-то факты, но и распознавать эмоции и чувства, а в идеале еще и проявлять их самому.
Любое искусственное существо с интеллектом должно обладать памятью. Процесс обучения точно такой же как с маленькими детьми, если ребенок один раз обжегся о горячую плиту, то у него в памяти отложилось, что плита горячая и подходить к ней, а тем более трогать ее опасно. Точно так должен обучаться искусственный мозг, один раз запомнив, например, ход в шахматах он должен в следующий раз его повторить не задумываясь.
У человека для этого существует память и нейронный связи, для искусственного интеллекта существует База знаний.
База знаний – это особого рода база данных, разработанная для оперирования знаниями (метаданными). База знаний содержит структурированную информацию, покрывающую некоторую область знаний, для использования кибернетическим устройством (или человеком) с конкретной целью. Современные базы знаний работают совместно с системами поиска информации, имеют классификационную структуру и формат представления знаний.
Полноценные базы знаний содержат в себе не только фактическую информацию, но и правила вывода, допускающие автоматические умозаключения о вновь вводимых фактах и, как следствие, осмысленную обработку информации. Область наук об искусственном интеллекте, изучающая базы знаний и методы работы со знаниями, называется инженерией знаний.[3]
Иерархический способ представления в базе знаний набора понятий и их отношений называется онтологией. Онтологию некоторой области знаний вместе со сведениями о свойствах конкретных объектов также можно назвать базой знаний.[2]
Системы искусственного интеллекта работают на основе заложенных в них баз знаний. Это та модель которая заложена программистом или создателем в компьютер.
Для человека характерно не только запоминание некоторых фактов, но и рассуждение о них, а также анализирование, на основе чего создавать логические рассуждения.
В системах с искусственны интеллектом на данный момент реализована модель рассуждений (человеческой логики). На основе базы знаний и модели рассуждений система искусственного интеллекта сама программирует свою работу при решении любой задачи.
Существуют два типа методов представления знаний:
1. Формальные модели представления знаний;
2. Неформальные (семантические, реляционные) модели представления знаний.
Каждому из методов представления знаний соответствует свой способ описания знаний.
1. Логические модели Основная идея подхода при построении логических моделей представления знаний — вся информация, необходимая для решения прикладных задач, рассматривается как совокупность фактов и утверждений, которые представляются как формулы в некоторой логике. Знания отображаются совокупностью таких формул, а получение новых знаний сводится к реализации процедур логического вывода. В основе логических моделей представления знаний лежит понятие формальной теории, задаваемое кортежем:
4. Фреймовые модели. В отличие от моделей других типов во фреймовых моделях фиксируется жесткая структура информационных единиц, которая называется протофреймом.[3]
При создании идеального искусственного интеллекта необходимо учитывать все модели представления знаний, но их необходимо не только учитывать, но и использовать, что на сегодняшний день остается проблемой. Огромное количество ученых, работают над проблемой структуризации и применения этих баз знаний.
Если например, машину можно научить произносить слова, то не возможно с ней вести полноценный диалог, построенный на методе «вопрос-ответ». Машина будет выдавать заранее запрограммированный текст, никаких новых выражений или эмоций она проявлять не будет.
Для создания машины с искусственным интеллектом, необходимо использовать базы знаний во всех областях, но для этого необходимо изменить ее структуру и способы представления.
1. Бахтин М. М., 1975. Вопросы литературы и эстетики: Исследования разных лет. М.: Художественная литература.
2. Гаврилова Т.А., Хорошевский В.Ф., 2000. Бзы знаний интеллектуальных систем. Издательство: Питер
Открытые источники данных для ИИ в промышленности
Консультант по промышленному интернету вещей и искусственному интеллекту компании “Цифра” Екатерина Ляпина рассказала, как оседлать волну внедрения ИИ, быстро приступить к экспериментам с использованием открытых данных и перейти к полномасштабному внедрению.
При запуске нового проекта по расширению возможностей производственного объекта на основе искусственного интеллекта возникает вопрос, а возможно ли что-то сделать в принципе.
Промышленный ИИ требует большого количества данных для подготовки базовых алгоритмов. Такие данные генерируются работающими системами. Но зачастую эти данные замкнуты в себе или базы данных не связаны между собой. Они могут оставаться недоступными для команды, задачей которой является внедрение ИИ в корпорацию, если в ней ее собственные данные недоступны для построения таких систем.
И из-за временных и бюджетных ограничений команда разработчиков сталкивается с вопросом получения данных для обучения системы.
Системы прогнозирования, полностью автоматизированные системы и системы управления знаниями требуют надлежащей подготовки данных. Качество данных определяет результат работы систем ИИ.
Если корректных данных недостаточно, результаты такого обучения зачастую оказываются непригодными для использования. Иначе говоря, ИИ не способен выстраивать необходимые абстракции, которые обеспечивали бы выдающиеся результаты.
Несмотря на то что существуют методы обучения с подкреплением, не требующие наличия исходных данных, использование алгоритмов обучения с учителем, в том числе систем глубокого обучения, требует больших объемов размеченных данных.
При запуске проекта по ИИ в промышленности необходимо учитывать общий цикл таких проектов. На первом этапе необходимо получить доступ к соответствующим накопленным данным, которые могут иметь форму файлов, баз данных с необходимой информацией, или озёр данных.
Озеро данных содержит неструктурированные и структурированные данные. Как правило, формат данных в таком озере достаточно сырой и неструктурированный. Это означает, что предварительная обработка данных, поступающих в озеро из разных источников, отсутствует. Сбор данных происходит с соответствующих датчиков или архивных записей. Это не только табличные данные, но и изображения, видео или аудиозаписи.
На следующем этапе данные проходят предварительную обработку. Здесь происходит очистка данных. Они визуализируются, так чтобы эксперты в данной области могли оценить их качество. На этом этапе сырые необработанные данные становятся более информативными.
Например, эти данные являются основой для разработки прогнозных моделей. Для обработки данных обычно применяются алгоритмы машинного обучения. Специалист по анализу данных может использовать модели нейронных сетей, эффективность применения которых подлежит проверке на новых неизвестных данных после этапа обучения.
Этап обучения включает несколько циклов обратной связи, чтобы понять, решают ли результаты обучения модели поставленную бизнес задачу.
Наконец, готовые к использованию модели ИИ должны быть интегрированы в масштабе предприятия. Эта интеграция является двойственной.
С одной стороны, существуют решения ИИ, работающие на конечных устройствах, которые находятся непосредственно на объекте. С другой стороны, существует интеграция в корпоративные системы в виде микросервисов. В любом случае модели должны быть адаптированы к существующим операциям.
Где найти данные для обучения нейронных сетей и других алгоритмов машинного обучения? Несмотря на то что данные уже окрестили новой нефтью, может оказаться так, что найти источники данных за пределами предприятия сложно.
Промышленные компании оставляют свои данные для собственного использования. Тем не менее есть, например, ИТ-компании, которые прошли эту фазу хранения данных и исходных кодов для собственного использования. Однако некоторые немногочисленные компании продолжают это делать и по сей день.
Но в последние годы невообразимый успех выпал на долю систем с открытым исходным кодом. Даже такой поклонник «проприетарного» ПО, как Microsoft, вступил в ряды сторонников open source. Совместное использование данных и ПО открывает новые возможности для бизнеса и приносит пользу всей индустрии. Вот почему промышленные ассоциации и консорциумы начинают работу по обмену данными.
Еще одним источником бесплатных и открытых данных являются разработки и исследования, финансируемые государством. Такие организации, как NASA и ЦЕРН, предоставляют много ценных данных. Эти наборы данных используются для решения общих задач и испытаний новых алгоритмов. Если задаться целью поиска доступных данных в Интернете, то поразит прежде всего их обилие.
Но с этими данными есть проблема. Искусственный интеллект — актуальная тема, и многие жаждут внимания. Поэтому зачастую оказывается сложно решить, какие открытые данные подходят для того или иного конкретного проекта.
Существует множество неструктурированных наборов данных, плохого качества или просто плохо описанных. ИИ используется в различных областях и применяется для очень разных сценариев, поэтому существует множество наборов данных, не соответствующих вашим потребностям.
Если сфокусироваться на прикладном промышленном ИИ, то можно обнаружить, что ИИ применим ко многим продуктам и услугам. Его применение позволяет производителям обеспечивать новые сервисы для клиентов. Например, станки с самодиагностикой улучшают общую производительность производственных линий. Самодиагностика повышает эффективность, надежность, безопасность и увеличивает срок службы станков.
Следующий сценарий, для которого нужны данные, — это автоматизация. Исследователи тенденций в области автоматизации называют ее гиперавтоматизацией. Она помогает уже существующей автоматизации производственных процессов сделать новый рывок.
Стандартные данные от систем беспилотного (автономного) вождения и интеллектуальной робототехники используются для индивидуального обучения автономных промышленных транспортных средств и машин.
Третья область, в которой применяется ИИ, — это поиск новых знаний в инженерных системах. В данном случае цель заключается в том, чтобы найти первопричины проблем и контролировать риски с помощью ИИ.
ИИ способен сформировать реальное понимание ситуации помимо простого обнаружения аномалий и определения режимов отказа. Он находит связь между схожими инцидентами в прошлом и текущими показаниями датчиков. Это помогает предотвратить проблемы еще до их появления.
Определив области применения ИИ, можно найти общедоступные данные. Поскольку для многих промышленных применений требуются огромные массивы данных с датчиков, эти данные не всегда доступны для прямого скачивания.
Иногда требуется получить доступ к данным через указанный программный интерфейс (API), обеспечивающий подключение к существующим базам данных и позволяющий извлекать и анализировать их.
Примером может являться набор данных для решения задачи по прогнозному обслуживанию турбореактивного двигателя от NASA. Он предоставляет данные со 100 двигателей одной и той же модели. Информация включает четыре различных набора данных по двигателю, полученных с использованием имитатора авиационного двигателя C-MAPSS. Двигатели испытывали в различных условиях эксплуатации и режимах неисправности.
Данные по турбовентиляторному двигателю могут быть получены из прогнозного центра передовых знаний НАСА (NASA Prognostics Center of Excellence, PCoE). Этот отдел NASA имеет еще больше открытых наборов данных. Он содержит наборы данных от различных университетов, агентств или компаний.
Такие временные ряды помогают строить предсказательные модели. Они показывают переход двигателя из некоторого нормального состояния в неисправное. При этом репозиторий содержит данные для решения большого количества различных промышленных задач. Здесь можно найти данные по фрезеровке и испытанию подшипников, данные об электронных системах и аккумуляторах.
Более свободные и общедоступные репозитории имеются в Великобритании. Национальное хранилище данных по нефти и газу Великобритании, NDR, предоставляет 130 терабайт данных по морским исследованиям. Они включают данные о более чем 12 500 скважинах, 5000 сейсмических исследованиях и 3000 трубопроводов. Эти данные находятся в свободном доступе.
Но хранилище NRD не является исключительным для Великобритании. Такого рода национальные хранилища данных имеются во многих странах и предоставляют открытые данные при поддержке своих правительств.
Ценные данные, предоставляемые правительствами, не ограничиваются нефтегазовой отраслью. Британская геологическая служба также предоставляет большое количество наборов данных.
Она предоставляет сейсмограммы в режиме реального времени и архивные данные со своих более чем 100 сейсмографических станций, расположенных по всей Великобритании. Также здесь можно найти более 525 наборов данных по различным геологическим темам.
Лучший способ найти открытые источники данных для проекта — специальные поисковые системы, каталоги и агрегаторы. С помощью этих инструментов можно быстро найти подходящий набор данных, продираясь через джунгли доступных открытых источников данных.
Поиск по наборам данных Google, datasetsearch.research.google.com, предоставляет впечатляющий обзор имеющихся в свободном доступе наборов данных.
По результатам поиска система не только дает ссылку на хранилище, но и предусматривает предоставление непосредственной информации о форматах имеющихся данных и способах доступа к ним. Этот недавно опубликованный инструмент содержит около 25 млн общедоступных наборов данных.
Реестр хранилищ научных данных re3data.org, предлагает комплексный текстовый поиск по имеющимся репозиториям. Он имеет хороший графический инструмент исследования под названием «поиск по теме», помогающий найти открытые данные.
Что же касается прикладных исследований, то доступно лишь несколько результатов. Эта поисковая система не ведет непосредственно к данным. Она просто отправляет в хранилище, где продолжается поиск.
С помощью этих отправных точек вы быстро найдете нужные открытые данные. Открытые данные помогают запустить проект промышленного искусственного интеллекта, так что не требуется ждать, пока произойдет настройка рабочих датчиков всего предприятия.
Искусственный интеллект: краткая история, развитие, перспективы
Сейчас технологии развиваются с немыслимой скоростью. Ранее те возможности, что, казалось бы, были доступны только профессиональным ученым, в современной жизни доступны каждому. Один из подобных прорывов – искусственный интеллект, прочно обосновавшийся во многих сферах человеческой жизни.
Сегодня поговорим о том, что такое ИИ, как он возник, где применяется, а также чем он отличается от человеческого разума.
Что представляет собой искусственный интеллект
Искусственный интеллект – это свойство интеллектуальной системы выполнять те функции и задачи, которые обычно характерны для разумных существ. Это может быть проявление каких-то творческих способностей, склонность к рассуждению, обобщение, обучение на основании полученного ранее опыта и так далее.
Его развитием занимается направление науки, в рамках которого происходит аппаратное или программное моделирование тех задач человеческой деятельности, что считаются интеллектуальными. Еще под ИИ часто подразумевают направление в IT, основной целью которого является воссоздание разумных действий и рассуждений с помощью компьютерных систем.
История возникновения и развития искусственного интеллекта
Впервые термин artificial intelligence (с английского переводится как «искусственный интеллект») был упомянут в 1956 году Джоном МакКарти, основателем функционального программирования и изобретателем языка Lisp, на конференции в Университете Дартмута.
Однако сама идея подобной системы была сформирована в 1935 году Аланом Тьюрингом. Ученый дал описание абстрактной вычислительной машине, состоящей из безграничной памяти и сканера, перемещающегося вперед и назад по памяти. Однако позднее, в 1950 году, он предложил считать интеллектуальными те системы, которые в общении не будут отличаться от человека.
Тогда же Тьюринг разработал эмпирический тест для оценки машинного интеллекта. Он показывает, насколько искусственная система продвинулась в обучении общению и удастся ли ей выдать себя за человека.
Самая ранняя успешная программа искусственного интеллекта была создана Кристофером Стрейчи в 1951 году. А уже в 1952 году она играла в шашки с человеком и удивляла зрителей своими способностями предсказывать ходы. По этому поводу в 1953 году Тьюринг опубликовал статью о шахматном программировании.
В 1965 году специалист Массачусетского технологического университета Джозеф Вайценбаум разработал программу «Элиза», которая ныне считается прообразом современной Siri. В 1973 году была изобретена «Стэндфордская тележка», первый беспилотный автомобиль, контролируемый компьютером. К концу 1970-х интерес к ИИ начал спадать.
Новое развитие искусственный интеллект получил в середине 1990-х. Самый известный пример – суперкомпьютер IBM Deep Blue, который в 1997 году обыграл в шахматы чемпиона мира Гарри Каспарова. Сегодня подобные сети развиваются очень быстро за счет цифровизации информации, увеличения ее оборота и объема. Машины довольно быстро анализируют информацию и обучаются, впоследствии они действительно приобретают способности, ранее считавшиеся чисто человеческой прерогативой.
Отличие ИИ от нейросетей и машинного обучения
Нейросети представляют собой математическую модель, компьютерный алгоритм, работа которого основана на множестве искусственных нейронов. Суть этой системы в том, что ее не нужно заранее программировать. Она моделирует работу нейронов человеческого мозга, проводит элементарные вычисления и обучается на основании предыдущего опыта, но это не соотносимо с ИИ.
Искусственный интеллект, как мы помним, является свойством сложных систем выполнять задачи, обычно свойственные человеку. К ИИ часто относят узкоспециализированные компьютерные программы, также различные научно-технологические методы и решения. ИИ в своей работе имитирует человеческий мозг, при этом основывается на прочих логических и математических алгоритмах или инструментах, в том числе нейронных сетях.
Под машинным обучением понимают использование различных технологий для самообучающихся программ. Соответственно, это одно из многочисленных направлений ИИ. Системы, основанные на машинном обучении, получают базовые данные, анализируют их, затем на основе полученных выводов находят закономерности в сложных задачах со множеством параметров и дают точные ответы. Один из наиболее распространенных вариантов организации машинного обучения – применение нейросетей.
Если сравнивать с человеком, то ИИ подобен головному мозгу, машинное обучение – это один из многочисленных способов обработки поступающих данных и решения назревающих задач, а нейросети соответствуют объединению более мелких, базовых элементов мозга – нейронов.
Разница между искусственным и естественным интеллектом
Сравнивать искусственный и естественный интеллект можно лишь по некоторым общим параметрам. Например, человеческий мозг и компьютер работают по примерно схожему принципу, включающему четыре этапа – кодирование, хранение данных, анализ и предоставление результатов. И естественный, и искусственный разум склонны к самообучению, они решают те или иные задачи и проблемы, используя специальные алгоритмы.
Помимо общих умственных способностей к рассуждению, обучению и решению проблем, человеческое мышление также имеет эмоциональную окраску и сильно зависит от влияния социума. Искусственный интеллект не имеет никакого эмоционального характера и не ориентирован социально.
Если говорить об IQ – большинство ученых склонны считать, что сей параметр оценки никак не связан с искусственным интеллектом. С одной стороны, это действительно так, ведь стандартные IQ-тесты направлены на измерение «качества» человеческого мышления и связаны с развитием интеллекта на разных возрастных этапах.
С другой стороны, для ИИ создан собственный «IQ-тест», названный в честь Тьюринга. Он помогает определить, насколько хорошо машина обучилась и способна ли она уподобиться в общении человеку. Это своего рода планка для ИИ, установленная людьми. А ведь все больше ученых склоняется к тому, что скоро компьютеры обгонят человечество по всем параметрам… Развитие технологий идет по непредсказуемому сценарию, и вполне допустимо, что так и будет.
Применение ИИ в современной жизни
В зависимости от области и обширности сферы применения, выделяют два вида ИИ – Weak AI, называемый еще «слабым», и Strong AI, «сильный». В первом случае перед системой ставят узкоспециализированные задачи – диагностика в медицине, управление роботами, работа на базе электронных торговых платформ. Во втором же подразумевается решение глобальных задач.
Так, одна из наиболее популярных сфер применения ИИ – это Big Data в коммерции. Крупные торговые площадки используют подобные технологии для исследования потребительского поведения. Компания «Яндекс» вообще создает с их помощью музыку. В некоторые мобильные приложения встроены голосовые помощники вроде Siri, Алисы или Cortana. Они упрощают процесс навигации и совершения покупок в сервисе. И не стоит забывать про программы с нейросетями, обрабатывающими фото и видео.
ИИ также внедряют в производственные процессы для фиксации действий работников. Не обошлось и без внедрения новых технологических решений в транспортной сфере. Так, искусственный интеллект мониторит состояние на дорогах, фиксирует пробки, обнаруживает разные объекты в неположенных местах. А про автономное (беспилотное) вождение и так постоянно говорят…
Люксовые бренды внедряют ИИ в свои системы для анализа потребностей клиентов. Стремительно развивается использование подобных систем в системах здравоохранения, в основном при диагностике заболеваний, разработке лекарств, создании медицинских страховок, проведении клинических исследований и так далее.
Перечислить разом все области, в которых задействован искусственный интеллект, практически нереально. На данный момент он затрагивает все больше самых разных сфер. И причин на то немало – та же автоматизация производственных процессов, стремительный рост информационного оборота и инвестиций в эту сферу, даже социальное давление.
Влияние на различные области
ИИ все больше проникает в экономическую сферу, и, по некоторым прогнозам, это позволит увеличить объем глобального рынка на 15,7 трлн долларов к 2030 году. Лидирующую позицию в освоении сей технологии занимают США и Китай, однако некоторые развитые страны вроде Канады, Сингапура, Германии и Японии не отстают.
Искусственный интеллект может оказать существенное влияние на рынок труда. Это может привести к массовому увольнению рабочего персонала из-за автоматизации большинства процессов. Ну и росту востребованности разработчиков, конечно.
Перспективы развития искусственного интеллекта
Современные компьютеры приобретают все больше знаний и «умений». Скептики же утверждают, что все возможности ИИ – не более чем компьютерная программа, а не пример самообучения. Однако это не мешает технологии широко распространяться в самых различных сферах и открывать невиданные ранее потенциалы для развития. Со временем компьютеры будут становиться все мощнее, а ИИ еще быстрее совершенствоваться в своем развитии.
Заключение
Не так давно, казалось бы, ученые ввели понятие «искусственный интеллект», а чуть больше полвека спустя технология уже находит широкий спрос в самых различных сферах. Сейчас искусственный разум, можно сказать, находится в шаговой доступности для любого человека – компьютер и ноутбук, смартфон и электронные часы, даже многие простейшие приложения работают именно с его помощью. ИИ в самых разных своих проявлениях проник во многие сферы человеческой жизни и прочно обосновался в них.
Возможно, страхи ученых вполне обоснованы? Как знать 🙂