博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python爬虫 百度热搜热点
阅读量:2093 次
发布时间:2019-04-29

本文共 1573 字,大约阅读时间需要 5 分钟。

import requestsimport xlwtfrom bs4 import BeautifulSoupdef getItem():    hd = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/21"} url = "https://top.baidu.com/board?tab=realtime" page = requests.get(url,headers=hd).content.decode("utf-8") soup = BeautifulSoup(page, 'html.parser') code = [] tBody = soup.find('div',attrs={
'style':"margin-bottom:20px"}) name_M = tBody.find_all('a',attrs={
'class':"title_dIF3B"}) text_M = tBody.select("div[class^='hot-desc_1m_jR large_nSuFU']") top_M = tBody.find_all('a', attrs={
'class': "img-wrapper_29V76"}) score_M = tBody.find_all('div', attrs={
'class': "hot-index_1Bl1a"}) for i in range(0,len(name_M)): # code.append(dict(排名=top_M[i].div.text,标题=name_M[i].text, # 简介=text_M[i].text,分数=score_M[i].text)) code.append([top_M[i].div.text,name_M[i].text,text_M[i].text,score_M[i].text]) return codedef saveExcel(result): wb = xlwt.Workbook() # 创建工作表 sheet = wb.add_sheet('风云') list_h = ['排名','标题','简介','分数'] for row,str in enumerate(list_h): sheet.write(0, row, str) for i in range(0,len(result)): for n,inV in enumerate(list_h): sheet.write(i+1,n,result[i][inV]) wb.save('热搜爬.xlsx')from openpyxl import Workbookdef OaveExcel(data): workbook = Workbook() sheet = workbook.create_sheet() for x in data: sheet.append(x) workbook.save('热搜爬.xlsx')OaveExcel(getItem())# saveExcel(codex)

转载地址:http://cbuhf.baihongyu.com/

你可能感兴趣的文章
如何把本地项目上传到Github
查看>>
idea 注释模板设置
查看>>
SDO_GEOMETRY结构说明
查看>>
oracle 的 SDO_GEOMETRY
查看>>
往oracle中插入geometry的两种方式
查看>>
Oracle Spatial中的Operator操作子 详细说明
查看>>
Oracle Spatial中SDO_Geometry详细说明
查看>>
oracle 聚合函数 LISTAGG ,将多行结果合并成一行
查看>>
Oracle列转行函数 Listagg() 语法详解及应用实例
查看>>
LISTAGG函数的用法
查看>>
Oracle Spatial操作geometry方法
查看>>
IDEA类和方法注释模板设置(非常详细)
查看>>
Java程序初始化的顺序
查看>>
Dubbo和Spring结合配置文件内容解析为bean的过程
查看>>
fastJson注解@JSONField使用的一个实例
查看>>
fastjson的@JSONField注解的一点问题
查看>>
fastjson使用(三) -- 序列化
查看>>
浅谈使用单元素的枚举类型实现单例模式
查看>>
Java 利用枚举实现单例模式
查看>>
Java 动态代理作用是什么?
查看>>