安云网 - AnYun.ORG | 专注于网络信息收集、网络数据分享、网络安全研究、网络各种猎奇八卦。
当前位置: 安云网 > 技术关注 > 编程茶楼 > Python > python爬取网页中javascript动态添加的内容(一)

python爬取网页中javascript动态添加的内容(一)

时间:2018-06-12来源:未知 作者:安云网点击:
这几天刚好在学Requests和BeautifulSoup结合做爬虫爬取网页内容,恰巧有个哥们在群里问select函数里应该怎么来填?我想也是我在学,不妨找他一起做做,如果能帮人那最好不过啦。 好吧,进入正题 本次爬取的网址是: https://movie.d
//内容来自安云网

这几天刚好在学Requests和BeautifulSoup结合做爬虫爬取网页内容,恰巧有个哥们在群里问select函数里应该怎么来填?我想也是我在学,不妨找他一起做做,如果能帮人那最好不过啦。

好吧,进入正题

本次爬取的网址是:https://movie.douban.com/,采用的浏览器是Chrome,内容为下图类似于电影的名字、评分,以及图片链接等等。

 python爬取网页中javascript动态添加的内容(一)

1.首先按照传统的方法

当然首先的想法是按照传统的方法 = 获取源代码,解析网页,select网页标签取内容。

利用Chrome浏览器里的工具我们可以知道我们要爬取的内容存在于img标签里

# -*- coding:utf-8 -*-import requestsfrom bs4 import BeautifulSoupimport sysreload(sys)
sys.setdefaultencoding('utf-8')

url='https://movie.douban.com'res=requests.get(url)
content = res.text  # 获取网页源码soup=BeautifulSoup(content,'html.parser')for Img in soup.select('img'):  #因为图片存在img标签里,因此select里选取img标签    print Img

直接上代码,毕竟这不是今天我们要讲的主题。

 python爬取网页中javascript动态添加的内容(一)


结果你会发现这并不是我们想要的内容。

 python爬取网页中javascript动态添加的内容(一)为什么会这样呢?明明就是那个网址,那个标签,会不会我代码有问题,直接对比了网页源码和网页页面右键的源码,发现两个内容是有差别的,被隐藏了一些内容(那些内容正是我所想要的)

 python爬取网页中javascript动态添加的内容(一) python爬取网页中javascript动态添加的内容(一)

后来百度了解到,这是由于网页中加载了javascript动态标签所导致的。那么问题来了,我们就不能按照传统的方法爬取javascript动态加载的内容了。

2.采取PyQt4+BeautifulSoup方法

大家觉得不懂可以先去了解什么是Javascript动态加载,我理解的意思大概就是有个js文件加载到网页里,我没学过这部分内容,欢迎大家指正喷我。

大家也可以先看这篇文章

http://www.cnblogs.com/asmblog/archive/2013/05/07/3063809.html

大概原理就是利用PyQt4包里的webkit模块就能解析js文件了。

首先你需要下载PyQt4包,但是我发现在dos界面下没法pip安装,没办法喽,你只能手动安装 python爬取网页中javascript动态添加的内容(一)

直接给大家网址吧,免得大家找的辛苦:https://riverbankcomputing.com/software/pyqt/download

调用写好的一个类

class Render(QWebPage):    def __init__(self,url):        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)        self.loadFinished.connect(self._loadFinished)        self.mainFrame().load(QUrl(url))        self.app.exec_()    def _loadFinished(self, result):        self.fr ame = self.mainFrame()        self.app.quit()

调用写好的类便可以解析出网页真正的源代码了(也就是包括js加载的内容)

总之首要任务就是先解析整个网页再说

#-*- coding:utf-8 -*-import sysfrom HTMLParser import HTMLParserfrom bs4 import BeautifulSoupfrom PyQt4.QtWebKit import *from PyQt4.QtGui import *from PyQt4.QtCore import *class Render(QWebPage):    def __init__(self,url):        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)        self.loadFinished.connect(self._loadFinished)        self.mainFrame().load(QUrl(url))        self.app.exec_()    def _loadFinished(self, result):        self.frame = self.mainFrame()        self.app.quit()

url = 'https://movie.douban.com'r = Render(url)
html = r.frame.toHtml()
html = html.toUtf8()print html

 python爬取网页中javascript动态添加的内容(一)好了,成功解析出整个网页源代码,包括我们要的内容也在里面。

但是此时还不能直接用BeautifulSoup里select标签,因为你print下html变量的类型就知道

html = r.frame.toHtml()print type(html)html = html.toUtf8()print type(html)

<class 'PyQt4.QtCore.QString'>
<class 'PyQt4.QtCore.QByteArray'>

这种界面类型的变量是无法用于BeautifulSoup类的

soup=BeautifulSoup(html,'html.parser')

直接用,直接报错

    declared_encoding = declared_encoding_match.groups()[0].decode(
AttributeError: 'QByteArray' object has no attribute 'decode'

因此我们需要了解下,参考http://blog.sina.com.cn/s/blog_4b5039210100h9kp.html里面Python String和PyQt QString的区别以及之间的转换

html = unicode(html,'utf8','ignore')

我们只要添加这条语句即可

我们可以按照传统的方法解析我们的标签了

贴上完整代码

#-*- coding:utf-8 -*-import sysfrom HTMLParser import HTMLParserfrom bs4 import BeautifulSoupfrom PyQt4.QtWebKit import *from PyQt4.QtGui import *from PyQt4.QtCore import *class Render(QWebPage):    def __init__(self,url):        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)        self.loadFinished.connect(self._loadFinished)        self.mainFrame().load(QUrl(url))        self.app.exec_()    def _loadFinished(self, result):        self.frame = self.mainFrame()        self.app.quit()

url = 'https://movie.douban.com'r = Render(url)
html = r.frame.toHtml()
html = html.toUtf8()
html = unicode(html,'utf8','ignore')  #把html转为我们所需要的python unicode类型soup=BeautifulSoup(html,'html.parser')for item in soup.select('img'):    print item['alt']+" "+item['src']   #获取img标签下图片 以及名字信息

from https://blog.csdn.net/lht_okk/article/details/53418949

本文标题: python爬取网页中javascript动态添加的内容(一) 安云网
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
验证码: 点击我更换图片
相关内容
推荐内容