70 lines
2.3 KiB
Markdown
70 lines
2.3 KiB
Markdown
|
# 使用 Python NLTK 实现 N 元语法——分步指南
|
|||
|
|
|
|||
|
|
> 原文：<https://www.askpython.com/python/examples/n-grams-python-nltk>
|
|||
|
|
|
|||
|
|
在本教程中，我们将讨论 n 元语法的含义以及如何在 Python 编程语言中实现 n 元语法。
|
|||
|
|
|
|||
|
|
***也可阅读:[BLEU score in Python——初学者概述](https://www.askpython.com/python/bleu-score)***
|
|||
|
|
|
|||
|
|
* * *
|
|||
|
|
|
|||
|
|
## 理解 N 元语法
|
|||
|
|
|
|||
|
|
文本 n 元语法通常用于自然语言处理和文本挖掘。它本质上是同时出现在同一个窗口中的一串单词。
|
|||
|
|
|
|||
|
|
当计算 n-gram 时，您通常前进一个单词(尽管在更复杂的情况下，您可以移动 n 个单词)。n-gram 有多种用途。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
N Grams Demonstration
|
|||
|
|
|
|||
|
|
例如，在创建语言模型时，n 元模型不仅用于创建单元模型，还用于创建二元模型和三元模型。
|
|||
|
|
|
|||
|
|
谷歌和微软已经创建了网络规模的语法模型，可用于各种活动，如拼写纠正、断字和文本摘要。
|
|||
|
|
|
|||
|
|
* * *
|
|||
|
|
|
|||
|
|
## 用 Python 实现 n 元语法
|
|||
|
|
|
|||
|
|
为了实现 n 元语法，使用了`nltk`中的`ngrams`函数，该函数将执行所有的 n 元语法操作。
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
from nltk import ngrams
|
|||
|
|
sentence = input("Enter the sentence: ")
|
|||
|
|
n = int(input("Enter the value of n: "))
|
|||
|
|
n_grams = ngrams(sentence.split(), n)
|
|||
|
|
for grams in n_grams:
|
|||
|
|
print(grams)
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 抽样输出
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
Enter the sentence: Let's test the n-grams implementation with this sample sentence! Yay!
|
|||
|
|
Enter the value of n: 3
|
|||
|
|
("Let's", 'test', 'the')
|
|||
|
|
('test', 'the', 'n-grams')
|
|||
|
|
('the', 'n-grams', 'implementation')
|
|||
|
|
('n-grams', 'implementation', 'with')
|
|||
|
|
('implementation', 'with', 'this')
|
|||
|
|
('with', 'this', 'sample')
|
|||
|
|
('this', 'sample', 'sentence!')
|
|||
|
|
('sample', 'sentence!', 'Yay!')
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
* * *
|
|||
|
|
|
|||
|
|
看看结果有多惊人！你可以在一些句子中尝试使用相同的代码。编码快乐！😇
|
|||
|
|
|
|||
|
|
* * *
|
|||
|
|
|
|||
|
|
## 另请参阅:
|
|||
|
|
|
|||
|
|
1. [Python 中的词干化和词汇化](https://www.askpython.com/python/examples/stemming-and-lemmatization)
|
|||
|
|
2. [用 python 从头开始创建单词包模型](https://www.askpython.com/python/examples/bag-of-words-model-from-scratch)
|
|||
|
|
3. [如何使用 NLTK 删除 Python 中的停用词？](https://www.askpython.com/python/examples/remove-stop-words-nltk)
|
|||
|
|
4. [文字云使用 Python](https://www.askpython.com/python/examples/word-cloud-using-python)
|
|||
|
|
|
|||
|
|
* * *
|