문의하기

자연어이해 엔진 LEA

자연어이해 엔진(LEA - Language Engineering & Analysis)은 비정형 데이터 가공을 위해 형태소 분석, 개체명 인식, 구문 분석, 감성 분석 등의 텍스트 분석 기능을 처리하는 기계학습/심층학습 기반의 언어 분석 엔진입니다. 그 뿐만 아니라 자연어처리 결과를 바탕으로 문장에 숨겨진 의도를 이해하거나 질문의 유형을 파악하는 등의 한 단계 높은 수준의 분석 결과를 제공함으로써, 대화처리를 위한 의도 이해 및 분석, 심층질의응답을 위한 질문 의미 이해 등이 가능합니다. 자연어이해 엔진(LEA)은 AI Suite에 포함된 다른 엔진들이 동작하기 위해 필요한 기본 엔진입니다.

자연어이해 엔진을 구성하고 있는 고정밀 언어분석기들은 기계학습과 심층학습(인공신경망) 기술이 적용되어 있으며, 대규모 언어자원(분야별 대용량 학습데이터, 사전과 규칙)을 통해 도메인별로 품질을 최적화할 수 있습니다. 형태소 분석기는 98% 이상의 분석 품질을 제공하고, 구문 분석과 개체명 추출기는 병렬/분산 처리를 통해 세계 최고 성능을 제공하고 있습니다. 한국어뿐 아니라 영어, 일어 등 다국어 대응이 가능하며, 지식그래프와 연계하여 의미해석, 질의응답, 대화 시스템 구현이 가능한 자연어처리 엔진입니다.

< 자연어이해엔진 - LEA 구성도 >

주요 특징

기계학습 및 심층학습 기반의 고품질 자연어처리
LEA를 구성하고 있는 고정밀 언어분석기들은 기계학습과 심층학습(인공신경망) 기술이 적용되어 있습니다. 최신 기계학습 모델 Structural-SVM에 기반한 형태소 분석 및 개체명 인식, Latent Structural-SVM에 기반한 긍/부정 감성분석, Transition-Based(Arc-Eager) Dependency Parsing 방식의 의존 구문분석은 기존 알고리즘 보다 빠르고 높은 성능을 제공하고, Word Embedding 활용으로 자연어처리에 대한 심층학습 적용을 가능하게 합니다.
도메인 적용의 용이성
일반적인 단어(용어)에 대한 언어처리를 수행하는 보통의 자연어처리 엔진과는 달리, LEA 엔진은 대규모 언어자원을 통해 도메인별로 품질을 최적화할 수 있습니다. 대용량 학습데이터를 별도로 구축하여 학습할 수 있도록 기능을 지원하고, 공통 사전 외에 각 도메인에 특화된 사전과 규칙을 활용함으로써, 의료, 금융, 법률 등 각각의 분야에서 사용되는 언어 특성에 따른 맞춤 분석 결과를 제공합니다.
지식그래프 연계를 통한 의미 식별
자연어이해 엔진은 형태소 분석, 구문 분석 등의 일반적인 자연어처리에 그치지 않고, 분석된 단어(feature)의 개체와 의미를 식별합니다. 이러한 의미식별은 지식베이스와 연계를 통해 가능합니다. 단어가 실제 지식의 어떤 객체를 의미하는지를 지식그래프의 정보를 활용하여 판단하고, 기계가 이해할 수 있는 형식으로 태깅(태그를 부착하는 작업)을 합니다. 지식그래프 의미 정보는 대화 처리에서 발화 문장의 의도를 파악하거나, 질의응답 처리 시 질문의 유형과 의미를 파악하는데 활용하는 것처럼 인공지능 지식처리에 필요한 핵심 정보로 활용됩니다.

주요 기능 및 사양

자연어 처리 기능
자연어이해 엔진은 형태소 분석기, 개체명 인식기, 구문 분석기 등을 통해 입력된 비정형 텍스트에 대한 기본적인 자연어처리 기능을 제공합니다.

형태소 분석 기능

구문 분석 기능

개체명 추출 기능

평판(감성) 추출 기능

의도분석 기능
문장에서 표현된 사전적 의미뿐만 아니라, 문장이 가지는 의미와 그 의도가 무엇인지에 대한 의미적 분류 결과를 제시하는 분석 기능입니다. 단순 사전이나 규칙을 사용하여 띄어쓰기나 오타에 민감한 자연어처리 결과와는 달리 최적의 분석 결과를 도출할 때까지 문장을 재구성하고 다시 분석하는 과정을 재귀적으로 수행하게 됩니다. 이러한 과정을 통해 입력 문장에 대한 오류를 보정하는 효과와 함께 대화처리 또는 질의응답에 입력되는 사용자 입력 문장의 오류에 대해 강건한 분석 결과를 제공할 수 있습니다.
질문이해 기능
자연어이해 엔진은 단순한 자연어처리 결과뿐만 아니라 대화처리 또는 질의응답처리 시, 사용자의 질문을 이해하기 위한 문장 의미 분석 결과를 제공합니다. 입력된 문장에서 자연어처리를 통해 분석된 결과를 지식그래프 정보와 연계하여 의미 객체를 식별합니다. 또한, 문장 자체가 평서문인지, 질문인지 판단하고, 질문이라면 어떤 유형의 질문인지 등을 분류합니다. 이처럼, 문장에 포함된 의미적 지식정보와 문장의 구조적 유형을 분석하여 결과를 제시함으로써, 질문의 내용과 의도를 이해할 수 있습니다. 질문이해 기능은 의도분석 기능과 함께 기계학습 기반의 고정밀 언어인지 기술과 딥러닝 기반의 언어/의도/지식 학습 기술이 통합된 기능으로, 인공지능 서비스를 위한 인지/이해 과정의 핵심 기능입니다.
사전관리 기능
자연어이해 엔진에서 사용되든 주요 언어사전을 통합관리 할 수 있는 사전관리 기능을 제공합니다. 웹 기반의 통합 언어사전 관리 기능을 통해 특정 도메인에 사용되는 중요 용어나 언어처리 시 제외할 단어, 유의어, 동의어 등의 언어자원을 쉽게 추가하고 반영할 수 있습니다. 이를 통해 사용자 또는 도메인에 따른 커스터마이징 된 분석 결과를 제공받을 수 있고, 주기적이고 지속적인 관리를 통해 언어처리 품질을 향상시킬 수 있습니다.

주요 엔진 화면

< 감성 추출 >

< 개체명 추출 >

< 언어자원관리현황 >

< 의도분석을 위한 인텐트 학습 >