Естественные языки что это
Формальные и естественные языки
Естественные языки являются языками, на которых говорят люди, такие как английский, испанский, и французский языки. Они не были разработаны людьми (хотя люди пытаются навязать какие-то правила для них); они развивались естественным путем.
Формальные языки являются языками, которые разработаны людьми для конкретных применений. Например, нотация, которую математики используют как формальный язык, которая особенно хороша для обозначения отношений между числами и символами. Химики используют формальный язык для представления химической структуры молекул. И самое важное:
Языки программирования являются формальными языками, которые были разработаны для расчетных выражений.
Формальные языки, как правило, имеют строгие правила синтаксиса. Например, 3+3=6 является синтаксически правильным математическим утверждением, но 3=+$6 — нет. H2O является синтаксически правильным химическим названием, но 2ZZ — нет.
В качестве упражнения создайте то, что выглядит хорошо структурированным английским предложением с неузнаваемыми лексемами в нем. Затем напишите еще одно предложение со всеми действующими лексемами, но с недопустимой структурой.
Когда вы читаете предложение на английском языке или оператор на формальном языке, вы должны выяснить, какова структура предложения присутствует (хотя на естественном языке вы делаете это подсознательно). Этот процесс называется синтаксическим анализом.
Например, когда вы слышите фразу «Второй ботинок упал», вы понимаете, что «второй ботинок» является предметом, а «упал» — предикатом. После того как вы разобрали предложение, вы можете выяснить его значение либо его семантику. Предполагая, что вы знаете, что такое «ботинок» и что это значит падать, вы будете понимать общий подтекст этого предложения.
Хотя у формальных и естественных языков есть много особенностей в общих лексемах, структуре, синтаксисе и семантике, там много различий:
неоднозначность — естественные языки полны двусмысленности, когда люди общаются с помощью контекстных подсказок и другой информации. Формальные языки разработаны быть почти или полностью однозначными, что означает, что любое утверждение имеет ровно одно значение, вне зависимости от контекста.
избыточность — Для компенсации двусмысленности и уменьшения недопонимания естественные языки используют много избыточности. В результате они часто многословны. Формальные языки являются менее избыточными и более краткими.
буквальность — естественные языки полны идиом и метафор. Если я говорю: «Второй ботинок упал» там, вероятно, нет никакой обуви и нечему падать. Формальные языки означают именно то, что они говорят.
Людям, которые растут, разговаривая на естественном языке, часто приходится приспосабливаться к формальным языкам. В некотором смысле разница между формальным и естественным языками подобна разнице между поэзией и прозой, но в большей степени:
— слова используются для их впечатления, а также для их смысла, и все стихотворение вместе создает эффект или эмоциональный отклик. Неоднозначность не только общепринята, но часто является преднамеренной.
— буквальное значение слова является более важным, а структура способствует большему пониманию. Проза более поддается анализу, чем поэзия, но до сих пор часто неоднозначна.
— значение компьютерной программы однозначно и буквально, и может быть осознано полностью посредством анализа лексем и структуры.
Вот несколько советов для чтения программ (и других формальных языков). Во-первых, помните, что формальные языки являются гораздо более плотными, чем естественные языки, так что понадобится больше времени, чтобы прочитать их. Кроме того, структура очень важна, так что поэтому не очень хорошая идея читать сверху вниз, слева направо. Вместо этого, научитесь анализировать программу в вашей голове, идентифицируя лексемы и интерпретируя структуру. В довершение ко всему, детали имеют значение. Мелочи, такие как орфографические ошибки и плохая пунктуация, которые могут вам сойти с рук в естественных языках, могут иметь большое значение в формальном языке.
Традиционно первая программа, которую пишут на новом языке, называется «Hello, World!», потому что всё, что она делает — это отображает слова «Hello, World!». В Python, это выглядит следующим образом:
Это пример оператора печати, который на самом деле не печатает ничего на бумаге. Он отображает значение на экране. В этом случае результатом являются слова:
Кавычки в программе отмечают начало и конец значения; они не появляются в результате.
Некоторые люди судят о качестве языка программирования по простоте программы «Hello, World!». По этому образцу, Python делает это настолько, насколько это возможно.
Решение проблемы — процесс разработки проблемы, нахождение решения и отражение решения.
Язык программирования высокого уровня — язык программирования, подобный Python, который задуман быть легким для людей, чтобы читать и писать.
Низкоуровневый язык — язык программирования, который разработан, чтобы быть естественным для выполнения компьютером; также называемый «машинным языком» или «языком ассемблера».
Переносимость — свойство программы, которая может работать на более чем одном виде компьютеров. интерпретация — выполнение программы на языке высокого уровня с помощью перевода одной его строки за один раз.
Компиляция — одноразовый перевод программы, написанной на языке высокого уровня, на язык низкого уровня в рамках подготовки для последующего выполнения.
Исходный код — программа на языке высокого уровня перед ее компиляцией. объектный код — вывод компилятора после того, как он перевел программу. выполняемый код — другое имя для «объектного кода», который готов к выполнению. сценарий — программа, хранимая в файле (как правило та, которая будет интерпретироваться).
Программа — набор инструкций, который определяет вычисления. алгоритм — общий процесс решения класса проблем.
Баг — ошибка в программе. отладка — процесс поиска и удаления любой из трех типов ошибок программирования.
Синтаксис — структуры программы. синтаксическая ошибка — ошибка в программе, которая делает невозможным анализ (и, следовательно, невозможность интерпретации).
Ошибка выполнения — ошибка, которая не встречается, пока программа не начнет выполняться, но которая предотвращает продолжение программы.
Исключение — другое название ошибки выполнения. семантическая ошибка — ошибка в программе, которая заставляет ее делать что-то другое, чем то, что подразумевалось программистом.
Семантика — смысл программы. естественный язык — любой из языков, на котором говорят люди и которые развивались естественным образом.
Формальный язык — любой из языков, который люди разработали для определенных целей, таких как представление математических идей или компьютерных программ; все языки программирования являются формальными языками.
Лексема — один из основных элементов синтаксической структуры программы, аналогичный слову на естественном языке.
Синтаксический анализ — изучение программы и анализ синтаксической структуры.
Оператор печати — инструкция, которая вызывает интерпретатор Python для отображения значения на экране.
Статьи к прочтению:
Естественные и формальные язык. Формы представления информации | Информатика 7 класс #8 | Инфоурок
Похожие статьи:
Если речь идёт о составлении алгоритмов для процессора ЭВМ (электронно-вычислительной машины), исполнителем является процессор. Упрощённая модель…
Иску?сственные языки? — специальные языки, которые, в отличие от естественных, сконструированы целенаправленно. Таких языков существует уже более тысячи,…
Естественный язык
Есте́ственный язы́к — в лингвистике и философии языка, язык используемый для общения людей (в отличие от формальных языков и других типов знаковых систем, также называемых языками в семиотике) и не созданный целенаправленно (в отличие от искусственных языков).
Словарь и грамматические правила естественного языка определяются практикой применения и не всегда бывают формально зафиксированы.
Функции естественного языка
Основная функция языка — конструирование суждений, возможность определения смысла деятельных реакций, организации понятий, которые представляют собой некоторые симметрические формы, организующие пространство отношений «коммуникаторов»:
Естественный язык как система знаков
В настоящее время системность считается важнейшей характеристикой языка. Семиотическая сущность естественного языка состоит в установлении соответствия между универсумом значений и универсумом звучаний.
По основанию природы плана выражения в своей устной форме человеческий язык относится к слуховым знаковым системам, а в письменной – к зрительным.
По типу генезиса естественный язык относят к культурным системам, таким образом он противопоставляется как природным, так и искусственным знаковым системам. Для человеческого языка как знаковой системы характерно сочетание черт как естественных, так и искусственных знаковых систем.
Система естественного языка относится к многоуровневым системам, т.к. состоит из качественно разных элементов – фонем, морфем, слов, предложений, отношения между которыми сложны и многогранны.
Что касается структурной сложности естественного языка, то язык называют самой сложной из знаковых систем.
По структурному основанию различают также детерминированные и вероятностные семиотические системы. Естественный язык принадлежит к вероятностным системам, в которых порядок следования элементов не является жёстким, а носит вероятностный характер.
Семиотические системы разделяют также на динамические, подвижные и статические, неподвижные. Элементы динамических систем меняют своё положение по отношению друг к другу, тогда как состояние элементов в статических системах неподвижно, устойчиво. Естественный язык относят к динамическим системам, хотя в нём присутствует и статические признаки.
Ещё одной структурной характеристикой знаковых систем является их полнота. Полную систему можно определить как систему со знаками, представляющими все теоретически возможные комбинации определённой длины из элементов заданного множества. Соответственно, неполную систему можно охарактеризовать как обладающую определённой степенью избыточности систему, в которой для выражения знаков используются не все из возможных комбинаций заданных элементов. Естественный язык является неполной системой, обладающей высокой степенью избыточности.
Различия между системами знаков в их способности меняться делают возможным их классификацию на открытые и закрытые системы. Открытые системы в процессе своего функционирования могут включать в себя новые знаки и характеризуются более высокой адаптивностью по сравнению с закрытыми системами, не способными к изменению. Способность изменяться присуща и человеческому языку.
Согласно В. В. Налимову, естественный язык занимает срединное положение между «мягкими» и «жёсткими» системами. К мягким системам относятся неоднозначно кодирующие и неоднозначно интерпретируемые знаковые системы, например, язык музыки, к жёстким – язык научных символов.
Свойства естественного языка
К свойствам естественного языка относят следующие:
Существенным свойством языка является его двойственность, находящая своё выражение в существовании следующих языковых антиномий:
Естественный язык
Словарь и грамматические правила естественного языка определяются практикой применения и не всегда бывают формально зафиксированы.
Связанные понятия
Упоминания в литературе
Связанные понятия (продолжение)
В мире насчитывается несколько тысяч языков. Наиболее известные справочники включают только современные (то есть живые и недавно вымершие) языки. Согласно данным Этнолога на 2018 год, таковых 7097, а по Реестру Лингвосферы (англ.) — 4994. Большинство из них объединяются в семьи, некоторые языки считаются изолированными (то есть представляют одноязыковые семьи) или остаются неклассифицированными.
Изоли́рующие языки́ (иначе аморфные, односложные, корневые) — языки с низким соотношением морфем к слову. Слова в максимально изолирующем языке будут состоять только из одной морфемы — корня, не образуя ни составных слов, ни сочетаний с суффиксами, префиксами и т. д. В этом отношении изолирующие языки противоположны синтетическим языкам, в которых слова могут состоять из нескольких морфем.
Синтети́ческие языки́ — типологический класс языков, в которых преобладают синтетические формы выражения грамматических значений. Синтетические языки противопоставляются аналитическим языкам, в которых грамматические значения выражаются при помощи служебных слов, и полисинтетическим языкам, в которых в пределах цельнооформленного комплекса (внешне напоминающего слово) объединено несколько именных и глагольных лексических значений.
В лингвистике кóрпус (в данном значении множественное число — кóрпусы, не корпусá) — подобранная и обработанная по определённым правилам совокупность текстов, используемых в качестве базы для исследования языка. Они используются для статистического анализа и проверки статистических гипотез, подтверждения лингвистических правил в данном языке.
Иску́сственные языки́ — специализированные языки, в которых лексика, фонетика и грамматика были специально разработаны для воплощения определённых целей. Именно целенаправленность отличает искусственные языки от естественных. Иногда данные языки называют ненастоящими языками. Таких языков существует уже более тысячи, и постоянно создаются новые.
Естественные и искусственные языки
Язык как способ существования сознания
Язык — система знаков, имеющих значение. Язык — способ существования сознания и общения человека с человеком. Прежде всего надо понять, что сознание неразрывно связано с языком как определенной знаковой системой. Знак — материальный предмет (явление, событие), выступающий в качестве представителя другого предмета и, следовательно, воспроизводящий его свойства.
Различают языковые (входящие в некоторую знаковую систему) и неязыковые знаки (среди них — копии, признаки, симптомы). В качестве знаковых систем можно рассматривать «языки» изобразительного искусства, театра, кино, танца, музыки и т.п. Знаковые системы возникли и развиваются как материальная форма, в которой осуществляется сознание, мышление.
Исходной знаковой системой является обычный разговорный, естественный язык. В языке выделяют речь — язык в действии, в ситуации общения, в первую очередь устного, во вторую — письменного.
Мышление (сознание) и язык неразрывно связаны, но не тождественны. Различие между ними состоит в том, что мысль есть отражение объективной реальности, в то время как слово _ способ закрепления, выражения мысли и вместе с тем средство передачи мысли другим людям.
Язык служит условием взаимопонимания людей, а также осознания человеком действительности и самого себя. Средствами облегчения воплощения мысли в языковой форме являются различные виды речи: устная, письменная, внутренняя («думать про себя»). Речь — это процесс использования языка для общения.
Слово как единица языка имеет две стороны: внешнюю, звуковую (фонетическую) и внутреннюю, смысловую (семантическую). Обе они — продукты длительного общественно-исторического развития. Единство этих сторон и создает слово, в котором сплавляются функции знака и значения.
Итак, сознание и язык едины. В этом единстве определяющей стороной является сознание, мышление. Сознание отражает действительность, а язык обозначает и выражает ее. Язык — способ существования сознания.
Естественный (вербальный, звуковой) — обычный человеческий язык. Искусственный — язык знаков и символов. Первый возникает спонтанно в процессе общения членов некоторой социальной группы. Второй создается людьми для каких-либо специальных целей (языки математики, логики, шифры и т.п.). Характерная особенность естественных языков — многозначность слов, искусственных — однозначность, точность. Рассмотрим названные языки несколько подробнее.
Естественный язык представляет собой богатейшую развивающуюся целостную систему. Его элементарной единицей, «атомом» языка является слово, служащее для именования предметов, лиц, процессов, свойств и т.п. С начала своего возникновения естественный язык непрерывно изменялся — это было связано с взаимодействием культур, научным и технологическим прогрессом и т.д. Одни слова теряют во времени свои значения («флогистон», «теплород»), другие приобретают новые значения («спутник» как космический аппарат).
Естественный язык как бы живет своей собственной жизнью. Он включает в себя много нюансов и особенностей, что мешает точно выразить мысль (особенно научную) в слове. Не способствует этому наличие в естественном языке множества образных выражений, архаизмов, заимствованных слов, гипербол, идиом, метафор и т.п. Кроме того, естественный язык богат восклицаниями, междометиями, смысл которых трудно передать вне контекста.
Искусственные языки — знаковые системы, созданные людьми для применения в ограниченных областях, где необходимы и достаточны точность, строгость, однозначность, сжатость и простота выражения. Особенно это характерно для научных целей.
Различают специализированные и неспециализированные языки. Последние предназначены главным образом для международного общения. Наиболее распространенный из них — эсперанто. К специализированным искусственным языкам относятся формализованные системы символов в различных областях науки (в математике, физике, химии, логике, лингвистике и др.), а также быстро развивающийся компьютерный язык, все полнее моделирующий естественный. Искусственные языки являются дополнением естественных языков и существуют лишь на их основе.
Обработка естественного языка
Mar 14 · 9 min read
Обработка естественного языка или NLP (от англ. Natural language processing) — одна из самых известных областей науки о данных. За последнее десятилетие она приобрела большую популярность как в промышленных, так и в академических кругах.
Но правда в том, что NLP — это далеко не новая область. Стремление человека к тому, чтобы компьютеры понимали наш язык, существовало с момента их создания. Да, те старые компьютеры, которые с трудом могли запустить несколько программ одновременно, всё же успели познакомится со сложностью естественных языков.
Естественный язык — э то любой человеческий язык, такой как английский, арабский, русский и т. д. Насколько трудно сделать так, чтобы компьютер понимал естественные языки, зависит от их структуры. Более того, когда мы говорим, то часто по-разному произносим слова, наши акценты отличаются, независимо от того, используем ли мы родной язык или иностранный. Мы также часто склонны «жевать» слова во время разговора, чтобы быстрее донести мысль, не говоря уже обо всех сленговых словах, которые появляются каждый день.
Цель этой статьи — пролить свет на историю естественной обработки языка и её подразделы.
Начало развития NLP
Естественная обработка языка — это междисциплинарная область на стыке информатики и лингвистики. Существует бесконечное количество способов, чтобы соединить слова и составить из них предложение. Конечно, не все эти предложения будут грамматически правильными или даже иметь смысл.
Люди могут их различать, но компьютер — нет. Более того, нереально загрузить в него словарь со всеми возможными предложениями на всех возможных языках.
На ранних этапах учёные предлагали разделять любое предложение на набор слов, которые можно обрабатывать индивидуально, что гораздо проще, чем обрабатывать предложение целиком. Этот подход аналогичен тому, с помощью которого обучают новому языку детей и взрослых.
Когда мы только начинаем учить язык, нас знакомят с его частями речи. Для примера возьмём английский язык. В нём есть 9 основных частей речи: существительные, глаголы, прилагательные, наречия, местоимения, артикли и др. Эти части речи помогают понять назначение каждого слова в предложении.
Однако недостаточно знать категорию слова, особенно для тех, которые могут иметь более одного значения. Например, слово «leaves» может быть формой глагола « to leave» (англ. уходить) или формой множественного числа существительного «leaf» (англ. лист).
Поэтому компьютерам необходимо базовое понимание грамматики, чтобы обращаться к ней в случае замешательства. Таким образом появились правила структуры фраз.
Они представляют собой набор правил грамматики, по которым строится предложение. В английском языке оно образуется с помощью именной и глагольной группы. Рассмотрим предложение: « Anne ate the apple» (англ. Энн съела яблоко). Здесь « Anne» — это именная группа, а « ate the apple» — это глагольная группа.
Различные предложения формируются с использованием разных структур. По мере увеличения количества правил структуры фраз можно создавать дерево синтаксического анализа, чтобы классифицировать каждое слово в конкретном предложении и прийти к его общему значению.
Всё это отлично работает, если предложения просты и ясны. Но проблема в том, что они могут быть достаточно сложными, или в них могут использоваться не совсем однозначные слова или неологизмы. В этом случае компьютерам будет сложно понять, что имелось в виду.
Подразделы NLP
Обработка текста
Чат-боты — один из хорошо известных примеров NLP. Изначально чат-боты были основаны на системе правил. Это означало, что специалисты должны были закодировать сотни, а возможно, и тысячи правил структуры фраз, чтобы чат-бот корректно ответил на данные, которые вводит человек. Таким примером является Eliza. Это чат-бот, разработанный в 1960-х годах и пародирующий диалог с психотерапевтом.
Сегодня большинство чат-ботов и виртуальных помощников создаются и программируются с использованием методов машинного обучения. Эти методы основываются на многочисленных гигабайтах данных, собранных во время разговоров между людьми.
Чем больше данных будет передано модели машинного обучения, тем лучше будет работать чат-бот.
Распознавание речи
Чат-боты про то, как компьютеры понимают письменный язык. А что насчёт устной речи? Как компьютеры могут превратить звук в слова, а затем понять их значение?
Распознавание речи — второй подраздел обработки естественного языка. Это тоже совсем не новая технология. Она была в центре внимания многих исследователей в течение последних десятилетий. В 1970-х годах в Университете Карнеги-Меллона была разработана Harpy. Это была первая компьютерная программа, которая понимала 1000 слов.
В то время компьютеры не были достаточно мощными для распознавания речи в реальном времени, если только вы не говорили очень медленно. Это препятствие было устранено с появлением более быстрых и мощных компьютеров.
Синтез речи
Синтез речи во многом противоположен распознаванию речи. С помощью этой технологии у компьютера появилась возможность издавать звуки или произносить слова.
Первым в мире устройством для синтеза речи считается VODER (англ. Voice Operating Demonstrator — модель голосового аппарата). Оно было разработано Гомером Дадли из компании Bell Labs в 1930-х годах. У VODER было ручное управление. С тех пор многое изменилось.
В системах распознавания речи и чат-ботах предложения разбиваются на фонемы. Чтобы произнести определенное предложение, компьютер сохраняет эти фонемы, преобразовывает и воспроизводит.
Такой способ соединения фонем был и остаётся причиной того, что речь компьютера звучит очень роботизировано, поскольку на границах сшивки элементов часто возникают искажения.
Конечно, со временем звучание стало лучше. Использование современных алгоритмов в новейших виртуальных помощниках, таких как Siri, Cortana и Alexa, подтверждает то, что мы далеко продвинулись. Однако их речь по звучанию по-прежнему немного отличается от человеческой.
Заключение
Обработка естественного языка — общее название области, которое охватывает множество подразделов. Во всех них обычно используют модели машинного обучения, в основном нейросети, и данные множества разговоров между людьми.
Поскольку человеческие языки постоянно и стихийно развиваются, а компьютеру нужны чёткие и структурированные данные, при обработке возникают определённые проблемы и страдает точность. Кроме того, методы анализа текстов сильно зависят от языка, жанра, темы — всегда требуется дополнительная настройка. Однако сегодня многие задачи обработки естественного языка всё же решаются с применением глубокого обучения нейронных сетей.
Обработка естественного языка или NLP (англ. Natural Language Processing) — направление на стыке информатики и лингвистики, которое даёт возможность компьютерам понимать человеческий, т. е. естественный язык. Сейчас это одна из самых популярных областей науки о данных. Однако она существует с момента изобретения компьютеров.
Именно развитие техники и вычислительной мощности привело к невероятным достижениям в сфере NLP. Технологии синтеза и распознавания речи становятся такими же востребованными, как и технологии, работающие с письменными текстами. Разработка виртуальных помощников, таких как Siri, Alexa и Cortana, свидетельствует о том, насколько далеко продвинулись учёные.
Так что же необходимо знать, чтобы начать заниматься естественной обработкой языка? Нужна ли степень по информатике?
Чтобы стать специалистом по NLP, никакие степени не понадобятся. Всё, что вам потребуется, это изучить и попрактиковать определённые навыки, а также создать несколько проектов, чтобы подтвердить свои знания.
В начале пути в сфере обработки естественного языка может быть сложно. Объём информации в интернете огромен и может сбивать с толку или вести не туда. Я, как человек, который сам через это прошёл, решила написать статью и поделиться коротким и чётким руководством для старта.
1. Основы лингвистики
По сути, NLP — это про изучение языков. Разработчик пытается объяснить компьютеру, как понимать мудрёную письменную и устную речь человека.
Я занялась NLP, потому что меня всегда интересовали языки и то, как они образовывались и развивались с течением времени. Однако говорить на каком-то языке не означает полностью понимать его логику.
Чтобы иметь прочную основу для начала работы в NLP, необходимо полностью осознавать базовую логику языка, которому вы пытаетесь «научить» компьютер. Этот язык не обязательно должен быть вашим родным. Вы даже можете выучить новый при разработке проекта для его анализа.
Я не имею в виду, что нужно получать степень по лингвистике или что-то в этом роде. Я пытаюсь сказать, что понимание того, как языки решают различные проблемы, может оказаться полезным при разработке и анализе приложений для NLP. Более того, зная о межъязыковом влиянии, вы можете создавать многоязычные приложения.
Я рекомендую начать изучение основ лингвистики для обработки естественного языка с книги Эмили М. Бендер «Основы лингвистики для естественной обработки языка» (англ. Emily M. Bender Linguistic Fundamentals for Natural Language Processing ).
2. Манипуляции со строками
«Язык», на котором вы пытаетесь анализировать и создавать приложения, обычно имеет форму строк. Даже если это приложение для распознавания речи, она всё равно преобразовывается в текст перед анализом.
Поэтому первый шаг, который вам нужно освоить перед погружением в основные техники NLP, — это манипуляции со строками с использованием любого языка программирования.
Если у вас нет опыта программирования, то рекомендую начать с Python. Он широко используется в различных областях науки о данных, включая NLP. Если у вас уже есть опыт программирования на других языках, то освоить манипуляцию со строками не составит труда.
3. Регулярные выражения
После того, как вы освоите операции со строками с помощью встроенных функций на выбранном вами языке программирования, следующим шагом будут регулярные выражения.
Это один из самых мощных и эффективных методов обработки текста. У регулярных выражений своя терминология, условия и синтаксис. Некоторые разработчики рассматривают их как мини-язык программирования. Они помогут обобщить правила и сделать приложения для обработки тестов более эффективными.
4. Очистка данных
Качество результата работы зависит от входных данных. Поэтому важно, чтобы они были подготовлены наилучшим образом. Этот навык применим не только к проектам по NLP, но и ко всем областям науки о данных. Однако подходы к очистке данных различаются в зависимости от задач и целевых результатов.
При подготовке текста к обработке и анализу мы обычно удаляем все знаки препинания. Это помогает улучшить вариативность слов в тексте. Также существуют различные типы слов, например стоп-слова, которые можно удалить для более эффективного анализа.
Три основных шага очистки текста для NLP:
5. Анализ текста
Наконец-то мы подошли к разделу навыков непосредственно из обработки естественного языка. Получив чистый набор данных, вы будете готовы создавать модели и начинать анализировать текст. Но для этого вам нужно немного знать терминологию из NLP.
Вот пять основных навыков и их значение:
6. Основы машинного обучения
Воспользовавшись основными навыками обработки языка, мы получаем корпус — набор данных после очистки текста и выполнения других основных задач NLP. Далее его необходимо проанализировать и извлечь полезную информацию. Для этого понадобится алгоритм машинного обучения.
Давайте рассмотрим два наиболее часто используемых алгоритма:
7. Оценочные метрики
Это очень важный пункт, о котором обычно забывают. Каждый раз, когда вы применяете модель машинного обучения к данным, необходимо оценивать её результаты. Для каждой модели нужны свои метрики.
Вот некоторые из них:
Более подробную информацию вы можете узнать в материалах лекции из Массачусетского университета в Амхерсте (материалы на англ. яз.).
8. Глубокое обучение
Глубокое обучение полезно для определённых задач, требующих нелинейности пространства признаков. Оно предоставляет улучшенные модели с более высокой точностью и качественными результатами.
Один из самых часто используемых методов глубокого обучения в NLP — рекуррентные нейронные сети. К счастью, нет необходимости знать, как реализовать этот алгоритм или множество других, благодаря открытым библиотекам, таким как Keras и Scikit-learn, написанным на языке Python.
А что действительно нужно сделать, так это научиться эффективно использовать алгоритм, изучая его способ работы и узнавая, какие он даёт результаты.
9. Создание проектов
У меня этот шаг под номером 9, но его необходимо выполнять параллельно со всеми предыдущими шагами. Всегда сразу применяйте свои знания на практике. Это единственный способ проверить, насколько вы их усвоили.
При этом, чем больше вы знаете, тем более крутые приложения вы можете создавать. Вот несколько идей, которые можно опробовать, когда у вас будет достаточно знаний.
Таких идей ещё много. Дерзайте.
10. Научные статьи
Все подразделы науки о данных являются активными областями исследований. Как специалисту по данным в целом и специалисту по обработке естественного языка в частности, вам необходимо быть в курсе последних разработок в этой сфере. Единственный способ это сделать — следить за недавно опубликованными научными статьями о NLP.
Мне удобно создавать оповещения в Google Академии о новых публикациях по конкретным темам, которые меня интересуют: я получаю электронное письмо, как только они выходят.
Заключение
Иногда изучение нового навыка или получение новых знаний — довольно сложная задача. Но если не бросать это на полпути, а продолжать практиковаться и постоянно расширять базу знаний, вы достигнете своей цели.
«Мы можем делать всё, что захотим, если будем придерживаться этого достаточно долго», — Хелен Келлер.
Освоение обработки естественного языка может быть трудной задачей из-за огромного количества информации в интернете. Я надеюсь, что эта статья поможет вам сориентироваться в процессе обучения и сделает его немного проще.