197 lines
4.7 KiB
Markdown
197 lines
4.7 KiB
Markdown
# 在 Python 中使用 Feedparser
|
||
|
||
> 原文：<https://www.pythonforbeginners.com/feedparser/using-feedparser-in-python>
|
||
|
||
## 概观
|
||
|
||
在本帖中，我们将看看如何使用 Python 下载和解析整合的
|
||
提要。
|
||
|
||
我们将使用的 Python 模块是“Feedparser”。
|
||
|
||
完整的文档可以在[这里](https://pythonhosted.org/feedparser/ "feedparser_pythonhosted")找到。
|
||
|
||
## 什么是 RSS？
|
||
|
||
RSS 代表 Rich Site Summary，使用标准的 web feed 格式发布经常更新的信息:博客条目、新闻标题、音频、视频。
|
||
|
||
一个 RSS 文档(称为“feed”、“web feed”或“channel”)包括完整或
|
||
摘要文本，以及元数据，如出版日期和作者姓名。来源
|
||
|
||
## 什么是 Feedparser？
|
||
|
||
Feedparser 是一个 Python 库，可以解析所有已知格式的提要，包括
|
||
Atom、RSS 和 RDF。它可以在 Python 2.4 一直运行到 3.3。来源
|
||
|
||
## RSS 元素
|
||
|
||
在我们安装 feedparser 模块并开始编码之前，让我们看一看一些可用的 RSS 元素。
|
||
|
||
RSS 提要中最常用的元素是“标题”、“链接”、“描述”、“T0”、“发布日期”和“条目 ID”。
|
||
|
||
不太常用的元素是“图像”、“类别”、“附件”和“云”。
|
||
|
||
## 安装 Feedparser
|
||
|
||
要在你的电脑上安装 feedparser，打开你的终端，使用
|
||
" **pip"** (一个安装和管理 Python 包的工具)进行安装
|
||
|
||
sudo pip 安装 feedparser
|
||
|
||
要验证是否安装了 feedparser，可以运行一个“pip list”。
|
||
|
||
当然，您也可以进入交互模式，并在那里导入 feedparser
|
||
模块。
|
||
|
||
如果您看到如下输出，您可以确定它已经安装。
|
||
|
||
```py
|
||
>>> import feedparser
|
||
>>>
|
||
```
|
||
|
||
既然我们已经安装了 feedparser 模块，我们就可以开始使用它了。
|
||
|
||
## 获取 RSS 源
|
||
|
||
你可以使用任何你想要的 RSS 源。因为我喜欢读 Reddit 的文章，所以我用 T2 的文章作为例子。
|
||
|
||
reddit 由许多子 Reddit 组成，我现在对
|
||
特别感兴趣的是“Python”子 Reddit。
|
||
|
||
获取 RSS 提要的方法是只需查找该子 reddit 的 URL 并
|
||
添加一个“rss”给它。
|
||
|
||
我们需要的 python 子 reddit 的 RSS 提要是:
|
||
http://www.reddit.com/r/python/.rss
|
||
|
||
## 使用 Feedparser
|
||
|
||
您从导入 feedparser 模块开始您的程序。
|
||
|
||
```py
|
||
import feedparser
|
||
```
|
||
|
||
创建提要。放入你想要的 RSS 源。
|
||
|
||
```py
|
||
d = feedparser.parse('http://www.reddit.com/r/python/.rss')
|
||
```
|
||
|
||
频道元素在 d.feed 中可用(还记得上面的“RSS 元素”吗)
|
||
|
||
这些项目在 d.entries 中可用，这是一个列表。
|
||
|
||
您访问列表中的项目的顺序与它们在
|
||
原始提要中出现的顺序相同，因此第一个项目在 d.entries[0]中可用。
|
||
|
||
打印源的标题
|
||
|
||
```py
|
||
print d['feed']['title']
|
||
|
||
>>> Python
|
||
```
|
||
|
||
解析相对链接
|
||
|
||
```py
|
||
print d['feed']['link']
|
||
|
||
>>> http://www.reddit.com/r/Python/
|
||
```
|
||
|
||
解析转义的 HTML
|
||
|
||
```py
|
||
print d.feed.subtitle
|
||
|
||
>>> news about the dynamic, interpreted, interactive, object-oriented, extensible
|
||
programming language Python
|
||
```
|
||
|
||
查看条目数量
|
||
|
||
```py
|
||
print len(d['entries'])
|
||
|
||
>>> 25
|
||
```
|
||
|
||
提要中的每个条目都是一个字典。使用[0]打印第一个条目。
|
||
|
||
```py
|
||
print d['entries'][0]['title']
|
||
|
||
>>> Functional Python made easy with a new library: Funcy
|
||
```
|
||
|
||
打印第一个条目及其链接
|
||
|
||
```py
|
||
print d.entries[0]['link']
|
||
|
||
>>> http://www.reddit.com/r/Python/comments/1oej74/functional_python_made_easy_with_a_new_
|
||
library/
|
||
```
|
||
|
||
使用 for 循环打印所有文章及其链接。
|
||
|
||
```py
|
||
for post in d.entries:
|
||
print post.title + ": " + post.link + "
|
||
"
|
||
|
||
>>>
|
||
Functional Python made easy with a new library: Funcy: http://www.reddit.com/r/Python/
|
||
comments/1oej74/functional_python_made_easy_with_a_new_
|
||
library/
|
||
|
||
Python Packages Open Sourced: http://www.reddit.com/r/Python/comments/1od7nn/
|
||
python_packages_open_sourced/
|
||
|
||
PyEDA 0.15.0 Released: http://www.reddit.com/r/Python/comments/1oet5m/
|
||
pyeda_0150_released/
|
||
|
||
PyMongo 2.6.3 Released: http://www.reddit.com/r/Python/comments/1ocryg/
|
||
pymongo_263_released/
|
||
.....
|
||
.......
|
||
........
|
||
```
|
||
|
||
报告馈送类型和版本
|
||
|
||
```py
|
||
print d.version
|
||
|
||
>>> rss20
|
||
```
|
||
|
||
对所有 HTTP 头的完全访问权限
|
||
|
||
```py
|
||
print d.headers
|
||
|
||
>>>
|
||
{'content-length': '5393', 'content-encoding': 'gzip', 'vary': 'accept-encoding', 'server':
|
||
"'; DROP TABLE servertypes; --", 'connection': 'close', 'date': 'Mon, 14 Oct 2013 09:13:34
|
||
GMT', 'content-type': 'text/xml; charset=UTF-8'}
|
||
```
|
||
|
||
只需从头部获取内容类型
|
||
|
||
```py
|
||
print d.headers.get('content-type')
|
||
|
||
>>> text/xml; charset=UTF-8
|
||
```
|
||
|
||
使用 feedparser 是解析 RSS 提要的一种简单而有趣的方式。
|
||
|
||
#### 来源
|
||
|
||
[http://www.slideshare.net/LindseySmith1/feedparser](http://www.slideshare.net/LindseySmith1/feedparser "slidehare")
|
||
http://code.google.com/p/feedparser/
|