课程介绍

新能源汽车数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、FineBI可视化大屏展示。项目的核心内容为汽车行驶连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形式，完成需求指标的分析计算。

项目从0到1完成数仓框架环境搭建、数仓建模分析，以及最终数据的可视化展示，了解数仓建模理论体系及实际应用，并为连续的日志分析提供了有效解决方法。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、DolphinScheduler、Datax、FineBI、ZooKeeper等。

课程目录

/13-026-尚硅谷-大数据技术之新能源汽车数仓/
│├─01_新能源汽车课程介绍.mp4
│├─02_新能源汽车数仓概述.mp4
│├─03_数仓需求介绍及框架选择.mp4
│├─04_数仓架构介绍.mp4
│├─05_服务器选型介绍.mp4
│├─06_集群资源规划介绍.mp4
│├─07_采集数据格式介绍.mp4
│├─08_克隆准备3台虚拟机.mp4
│├─09_分发脚本和免密登录配置.mp4
│├─10_jdk安装部署.mp4
│├─11_环境变量配置介绍.mp4
│├─12_节点进程查看脚本介绍.mp4
│├─13_zookeeper的安装部署和使用.mp4
│├─14_hadoop配置介绍.mp4
│├─15_hadoop高可用配置及群起脚本.mp4
│├─16_hdfs的多目录配置和集群平衡.mp4
│├─17_hadoop的参数调优.mp4
│├─18_kafka的安装部署.mp4
│├─19_kafka命令行简单介绍.mp4
│├─20_flume的安装及内存的调整.mp4
│├─21_mysql的安装部署.mp4
│├─22_mysql远程软件连接的问题解决.mp4
│├─23_采集数据模拟生成展示.mp4
│├─24_日志采集架构及组件选择.mp4
│├─25_采集日志flume的配置文件编写.mp4
│├─26_日志采集flume的测试及脚本编写.mp4
│├─27_消费flume的配置编写.mp4
│├─28_消费flume的拦截器编写.mp4
│├─29_消费flume日志演示.mp4
│├─30_维度数据同步策略选择.mp4
│├─31_Datax同步工具简单介绍.mp4
│├─32_Datax架构原理介绍.mp4
│├─33_Datax基础实现同步任务.mp4
│├─34_Datax使用传参演示.mp4
│├─35_Datax的并发控制和内存修改.mp4
│├─36_使用Datax完成维度表同步.mp4
│├─37_数仓建模模型介绍.mp4
│├─38_维度模型事实表和维度表介绍.mp4
│├─39_数仓环境搭建_hive的基础配置.mp4
│├─40_hive替换为spark引擎.mp4
│├─41_修改yarn对应am的内存限制.mp4
│├─42_配置数仓运行环境.mp4
│├─43_业务场景模拟_回顾采集通道.mp4
│├─44_业务场景模型_生成0502数据.mp4
│├─45_数仓分层介绍.mp4
│├─46_ods_hive映射hdfs成为表格介绍.mp4
│├─47_ods_hive函数get_json_object解析json数据.mp4
│├─48_ods_hive的serde简单介绍.mp4
│├─49_ods_hive使用serde解析json数据.mp4
│├─50_ods_日志表格建表介绍.mp4
│├─51_ods_hive导入日志表格数据演示.mp4
│├─52_ods_汽车信息表数据导入.mp4
│├─53_ods_数据导入脚本基础内容编写.mp4
│├─54_ods_数据导入脚本使用演示.mp4
│├─55_dim层维度表回顾.mp4
│├─56_dim层汽车信息维度表导入.mp4
│├─57_dim离线维度编码表导入.mp4
│├─58_dim层脚本数据导入.mp4
│├─59_dwd_事实表建模理论分析.mp4
│├─60_dwd_电动模式行驶日志事实表装载.mp4
│├─61_dwd_混动模式和新能源燃料模式行驶日志事实表装载.mp4
│├─62_dwd_充电日志事实表装载.mp4
│├─63_dwd_行驶充电和故障记录日志事实表装载.mp4
│├─64_dwd_电机日志事实表.mp4
│├─65_dwd_数据导入首日脚本编写.mp4
│├─66_dwd_数据导入脚本使用.mp4
│├─67_dws_搭建建模分析.mp4
│├─68_dws_纯电模式单次行程汇总表.mp4
│├─69_dws_纯电模式单次行程数据装载.mp4
│├─70_dws_单次充电聚合表数据导入.mp4
│├─71_dws_单次汇总数据脚本装载.mp4
│├─72_dws_最近1日里程聚合数据导入.mp4
│├─73_dws_告警单日汇总和电机信息单日汇总数据导入.mp4
│├─74_dws_单日电池组情况汇总基础数据读取.mp4
│├─75_dws_单日电池组每日汇总数据装载.mp4
│├─76_dws_每日聚合脚本数据装载.mp4
│├─77_ads_创建表格特点介绍.mp4
│├─78_ads_每月里程统计数据导入.mp4
│├─79_ads_最近7天里程汇总数据导入.mp4
│├─80_ads_不同类型汽车每月行程统计.mp4
│├─81_ads_告警主题每月汇总.mp4
│├─82_ads_温控主题每月汇总.mp4
│├─83_ads_能耗主题表格字段介绍.mp4
│├─84_ads_能耗主题充电指标计算.mp4
│├─85_ads_能耗主题旅次消耗计算.mp4
│├─86_ads_能耗主题最近100km能耗计算.mp4
│├─87_ads_能耗主题数据导入.mp4
│├─88_ads_汽车类型平均能耗计算.mp4
│├─89_ads_数据脚本导入.mp4
│├─90_数据导出建表语句.mp4
│├─91_数据导出样例演示.mp4
│├─92_脚本工具自动化生成datax的配置文件.mp4
│├─93_使用脚本完成datax数据导出.mp4
│├─94_dolphinScheduler架构介绍.mp4
│├─95_dolphinSchedule安装配置文件编写.mp4
│├─96_dolphinSchedule元数据配置及安装.mp4
│├─97_dolphinSchedule启动停止命令介绍.mp4
│├─98_dolphinSchedule管理用户介绍.mp4
│├─99_dolphinSchedule简单任务的执行演示.mp4
│├─100_dolphinSchedule的定时和传参功能.mp4
│├─101_dolphinSchedule的依赖资源和告警功能介绍.mp4
│├─102_新数据的全流程调度.mp4
│├─103_fineBI的安装部署和启动.mp4
│├─104_fineBI演示样例简单表格实现.mp4
│├─105_fineBI的钻取联动和过滤功能.mp4
│├─106_fineBI实战展示新能源汽车指标.mp4
│├─107_新能源数仓整体内容回顾.mp4
│├─笔记
│├─资料
笔记/
│├─尚硅谷大数据项目之新能源汽车数仓（1.环境部署和数据采集）.docx
│├─尚硅谷大数据项目之新能源汽车数仓（2.离线数仓搭建） .docx
│├─尚硅谷大数据项目之新能源汽车数仓（3.FineBI可视化）.docx
│├─新能源汽车数仓课程介绍.pptx
资料/
│├─1.java.exe
│├─10.dolphinscheduler.exe
│├─11.mock.exe
│├─12.装载脚本.exe
│├─13.帆软BI.exe
│├─2.zookeeper.exe
│├─3.hadoop.exe
│├─4.kafka.exe
│├─5.flume.exe
│├─6.mysql.exe
│├─7.spark.exe
│├─8.datax.exe
│├─9.hive.exe
│├─car_data_code.txt
│├─指标.txt