查看“︁自然语言处理（NLP）”︁的源代码

{{分类:人工智能术语}}
{{分类:自然语言处理}}
{{信息框|标题=自然语言处理（NLP）|内容=
* 英文全称：Natural Language Processing
* 英文缩写：NLP
* 核心定义：AI领域研究人与计算机交互的语言技术
* 核心关联：[[词元]]是其核心处理单元，[[词元化]]是核心前置步骤
* 应用场景：文本分类、翻译、情感分析、问答系统等
}}
一、定义
'''自然语言处理（NLP）'''是人工智能（AI）的一个重要分支，研究如何让计算机理解、处理、生成人类自然语言，实现人与计算机之间的有效语言交互。它是连接人类语言与计算机逻辑的桥梁，而[[词元]]则是其处理语言信息的最小核心单元。
二、核心任务
基础处理：[[词元化]]（将文本拆分为[[词元]]）、分词、词性标注、命名实体识别等；
语义理解：文本分类、情感分析、文本摘要、问答系统、语义检索等；
语言生成：文本创作、机器翻译、对话生成、代码生成等；
高级任务：机器阅读理解、多轮对话、跨语言交互等。
三、与词元的关联
[[词元]]是自然语言处理的基础核心，所有NLP任务均需以词元为起点：
前置步骤：任何NLP任务（无论理解还是生成），第一步均为[[词元化]]，将原始文本转换为[[词元]]序列；
语义载体：[[词元]]是语言语义的最小载体，计算机通过识别[[词元]]的向量特征，理解文本的含义；
任务适配：不同NLP任务对[[词元]]的处理方式不同（如翻译任务需对齐两种语言的词元向量）；
效率基准：[[词元]]的拆分精度的，直接影响NLP任务的准确性与处理效率。
四、技术发展
早期NLP技术以规则驱动、统计驱动为主，词元处理较为简单；随着深度学习（尤其是Transformer架构）的发展，以[[大语言模型]]为核心的NLP技术实现突破，词元的向量表示更精准，语义理解与生成能力大幅提升。
五、相关词条
* [[词元（Token）]]
* [[词元化（Tokenization）]]
* [[大语言模型（LLM）]]
* [[人工智能]]