bigdata_analyse
大数据分析项目
wish
采用不同的技术栈，通过对不同行业的数据集进行分析，期望达到以下目标：
- 了解不同领域的业务分析指标
- 深化数据处理、数据分析、数据可视化能力
- 增加大数据批处理、流处理的实践经验
- 增加数据挖掘的实践经验
tip
- 项目主要使用的编程语言是 python、sql、hql
- .ipynb 可以用 jupyter notebook 打开，如何安装, 可以参考 jupyter notebook
jupyter notebook 是一种网页交互形式的 python 编辑器，直接通过 pip 安装，也支持 markdown，很适合用来做数据分析可视化以及写文章、写示例代码等。
list
| 主题 | 处理方式 | 技术栈 | 数据集下载 |
|---|---|---|---|
| 1 亿条淘宝用户行为数据分析 | 离线处理 | 清洗 hive + 分析 hive + 可视化 echarts | 阿里云 或者 百度网盘 提取码：5ipq |
| 1000 万条淘宝用户行为数据实时分析 | 实时处理 | 数据源 kafka + 实时分析 flink + 可视化（es + kibana） | 百度网盘 提取码：m4mc |
| 300 万条《野蛮时代》的玩家数据分析 | 离线处理 | 清洗 pandas + 分析 mysql + 可视化 pyecharts | 百度网盘 提取码：paq4 |
| 130 万条深圳通刷卡数据分析 | 离线处理 | 清洗 pandas + 分析 impala + 可视化 dbeaver | 百度网盘 提取码：t561 |
| 10 万条厦门招聘数据分析 | 离线处理 | 清洗 pandas + 分析 hive + 可视化 ( hue + pyecharts ) + 预测 sklearn | 百度网盘 提取码：9wx0 |
| 7000 条租房数据分析 | 离线处理 | 清洗 pandas + 分析 sqlite + 可视化 matplotlib | 百度网盘 提取码：9en3 |
| 6000 条倒闭企业数据分析 | 离线处理 | 清洗 pandas + 分析 pandas + 可视化 (jupyter notebook + pyecharts) | 百度网盘 提取码：xvgm |
