一步一步教你PowerBI利用爬虫获取天气数据分析

站长

发表文章数:4263

ReactNative: 自定义ReactNative API组件

  对于爬虫大家应该不会陌生,我们首先来看一下爬虫的定义:网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分。网络爬虫为搜索引擎从万维网下载网页,自动获取网页内容的应用程序。看到定义我们应该已经知道它是可以从万维网上下载网页解析网页数据的。大家想一下在数据分析情景中它的应用场景有哪些?采集天气数据,网站采集文章,采集各种票务信息,股票信息采集等等有很多地方都会用的爬虫采集数据进行数据分析。通过数据分析增加分析维度信息,尤其是行业数据对标。

  提及爬虫有些软件工程师会第一时间想到Python。Python确实是非常方便的开发软件,会附带大量的依赖库,可以非常简单快速构建爬虫应用程序目前有一些框架只需要写提取规则就可以实现数据提取。我们这里要讲的爬虫是针对PowerBI软件中创建的采集天气数据爬虫程序。很多行业会受天气影响较大,如果能够知道某地区的天气数据历史记录,就可以让销售数据的维度更加丰富。从而给决策者判断问题时做出更好的参考。接下来小黎子将以湖北省主要城市为例,带领大家一起实现PowerBI构建爬虫抓取天气数据历史记录。本案例的数据源来自于网络-天气后报,网页中的数据最简单的一种形式就是表格。通过本文大家可以和我一样实现下图的天气报告

一步一步教你PowerBI利用爬虫获取天气数据分析

 

一、分析网站的URL结构

1、确定城市列表URL数据

我要分析的数据是湖北省主要城市的天气,首先在天气后报网站中找到历史天气,点击进入后找到湖北省

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

2、确定城市的URL信息

打开任意一个城市的界面,可以单独页面内容为武汉市各年度历史天气列表。主要URL中有WUHAN字符。这里我们可以确定每个城市的链接都存在着相同的规律。

一步一步教你PowerBI利用爬虫获取天气数据分析

3、确定月份的URL信息

点击上图的任意月份,进入月份的天气列表页。通过分析URL地址我们也可以看到规律。URL中城市拼音加年月的变量可以获得各个城市各个月份每天的天气状况。

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

二、构建爬虫主体

在分析URL过程中我们已经找到了网页URL的规律,因此,我们可以建立城市列表和日期列表。将两个参数引入URL,从而抓取城市不同时间的天气数据。注意,历史天气数据是回顾过去的,天气预报也是一样的分析思路。

1、建立城市列表

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

2、建立日期列表

在城市列表中添加开始日期

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

结束日期

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

日期,注意这里需要将日期转换为数值,提取完成后再转换为日期

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

展开日期列数据,将格式更改为日期类型

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

添加年月列

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

提取年和月数据用于后续切片器

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

删除重复项

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

3、将我们处理好的数据赋值到URL中

城市列表和日期列表都已经处理好了,下一步就是处理两个列表和URL的关联关系

【5min+】闪电光速拳? .NetCore 中的Span

新建URL自定义列

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

忽略隐私检查

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

展开URL列,选择Source和Data列即可

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

展开Data列,只保留前四列数据

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

删除多余的内容,筛选去除标题和空白行

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

拆分气温为最高和最低气温,按分隔符/拆分

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

去除温度符号℃,用于转换为数值

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

处理后

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

到这里我们已经完成了爬虫的数据清洗工作,接下来就开始进入可视化报告制作。

注意:由于起始日期为2011-1-1下载的数据量比较大,需要等待很长时间。大家可以将起始日期更改为2019-1-1以后的日期加载数据会比较快一点。

 

三、制作可视化报告

1、制作年份,月份,城市切片器。城市切片器注意设置方向为水平方向

一步一步教你PowerBI利用爬虫获取天气数据分析

2、气温趋势线

一步一步教你PowerBI利用爬虫获取天气数据分析

3、天气明细矩阵表

一步一步教你PowerBI利用爬虫获取天气数据分析

 

 

4、区域地图

一步一步教你PowerBI利用爬虫获取天气数据分析

大家可以根据自己的喜好调整不同的主题颜色

 

四、总结

我们顺利完成了抓取湖北省各个城市的2019年的历史天气数据。在使用PowerBI爬虫应用时需要注意的点:

1、分析URL规律是开始处理爬虫的最重要的环节

2、通过PowerBI输入数据功能建立城市列表和使用M函数建立日期列表。

3、两个列表结合处理URL地址解析对应的天气数据,通过WEB.CONTENTS提取网页内容是爬虫的核心内容。大家可以继续延伸学习M函数的使用方法。

4、在后续的文章中也会出现少量的M函数使用,编辑器中会有智能提示告诉大家使用规则,大家也可以通过微软官网查看M函数的语法。

注意:PowerBI爬虫应用不只是能够解析这种简单的结构,目前有很多的网站后台都是传递的json数据,PowerBI也是可以应对的处理的,只是需要将JSON数据转换为表格。在后续的分析情景中我会进一步来讲解爬虫应用。

机器学习-特征工程-Missing value和Category encoding

未经允许不得转载作者:站长, 转载或复制请以 超链接形式 并注明出处 xss云之家-资源网,新人技术交流平台,一个湖北娃的个人博客
原文地址:《一步一步教你PowerBI利用爬虫获取天气数据分析》 发布于2020-01-17

分享到:
赞(0) 打赏 生成海报

长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

投稿赚钱
2020年在家赚取零花钱
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册