导读
为了解答大家学习Python时遇到各种常见问题,小灯塔特地整理了一系列从零开始的入门到熟练的系列连载,每周五准时推出,欢迎大家学积极学习转载~
以前一直不知道如何爬取动态内容,知道看了@Lerther 的文章锁春记演员表,才知道。下面拿九派新闻来试试。 原文
1.寻找URL
进入九派新闻内容页勾选“XHR”,发现多个文件。
经过一个一个寻找,在Preview中先测试,发现就是内容页的新闻,打开Headers,寻找我们要的URL,GET请求。
2.爬取内容
先上代码
、
OK,大功告成,和头条不一样的是,九派新闻URL有所改变,是id + numberId 组成,只需要在最后修改下就可以了,但是只能爬取十多条。慢慢学,慢慢来吧中国第一妖男马宁。
至于为什么要爬取九派,哼哼,,,
好啦,这期的分享先到这里,大家可以按照上面的详细步骤进行练习。加油,我们下周五不见不散~
【灯塔大数据】微信公众号介绍:中国电信北京研究院通过整合电信自有数据、互联网数据和线下数据,创建了业内领先的“灯塔”大数据行业应用平台,致力于与行业合作伙伴共同打造大数据行业应用生态圈。
】关键字信息:
【区块链】下载《2018中国区块链行业分析报告》
【物联网】下载《物联网+:制造业向智能服务转型的新引擎》全文
【投资分析】www xmzskszx net获取美国人工智能投资报告完整版全文
【普华永道】下载《普华永道:区块链让城市更智能》全文
【思维导图】下载12种工具的获取方式
【半月刊】下载大数据瞭望半月刊
【 灯塔 】 查看更多关键字回复
上一篇:隐名股东能否排除对代持股权的执行
上一篇:区块链技术给旅游行业带来什么