尚硅谷-大数据技术之新能源汽车数仓

数仓采集环境搭建在新能源汽车数仓项目中，数据采集是整个流程的起点。这部分内容聚焦于如何构建一个稳定、高效、可扩展的数据采集环境。开发者将学习到如何利用 Flume 和 Kafka 这类工具实现日志数据的实时采集与传输。Flume 被用于从车联网设备或日志系统中提取数据，而 Kafka 则负责在分布

单课价¥29新品上架

会员价 ¥0开通会员，全站课程无限下载套餐详情

20 人关注更新于 2026-09-24 永久有效

发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服联系客服

开通会员 · 免费下载单课购买 ¥29

支付成功后自动发货，可在「我的订单」查看网盘链接；链接失效可联系客服免费补链。

正版保障极速发货售后无忧

数仓采集环境搭建

在新能源汽车数仓项目中，数据采集是整个流程的起点。这部分内容聚焦于如何构建一个稳定、高效、可扩展的数据采集环境。开发者将学习到如何利用 Flume 和 Kafka 这类工具实现日志数据的实时采集与传输。Flume 被用于从车联网设备或日志系统中提取数据，而 Kafka 则负责在分布式系统中作为数据缓冲层，保证数据的高吞吐与低延迟。

项目中还涉及 DataX 的使用，用于将数据从关系型数据库（如 MySQL）迁移至 Hadoop 生态的存储系统中。这一步骤是为后续的数据处理和分析打基础，因此开发者需要理解数据源的结构、数据格式以及如何通过配置文件准确地定义数据迁移任务。此外，Kafka 的部署与管理方面，开发者将接触到 ZooKeeper 的基本原理和实际应用，包括集群搭建、Topic 管理、消费者组配置等。

建议先掌握内容

熟悉 Hadoop 生态系统的基本组成，如 HDFS 和 YARN。
掌握 Flume 的配置方式及其在日志采集中的典型应用场景。
了解 Kafka 的基本概念，包括生产者、消费者和 Broker 的角色。
具备一定的 Linux 系统操作能力，能够完成基础的环境搭建与服务启动。
熟悉常见的数据格式，如 JSON、CSV，以及如何解析这些格式。

这部分内容适合有一定大数据基础的开发者，特别是已经掌握 Hadoop 基础、Linux 环境部署以及常用数据采集工具的用户。对于初学者而言，建议先回顾 Hadoop 的安装与配置、Flume 的数据采集流程以及 Kafka 的基本操作，以确保在后续的数仓建模和计算过程中能够顺畅对接。

数仓分层计算

数仓分层计算是本项目的核心模块之一，主要包含数据清洗、数据存储和数据计算三个层面。在数据清洗阶段，开发者将学习如何使用 Spark 进行数据的去重、格式转换、异常值处理等操作。这部分内容不仅涉及 Spark 的基本 API 使用，还包括基于 DataFrame 的高效数据处理技巧。

在数据存储层面，项目将使用 Hive 进行数据的结构化存储和管理。开发者需要理解 Hive 的元数据管理、分区与分桶策略，以及如何通过 HiveQL 实现复杂的数据查询与统计。同时，Hive 与 HDFS 的整合方式、数据生命周期管理也是重点内容。在数据计算部分，项目将基于数仓模型（如 ODS、DWD、DWS、ADS）进行数据分层，设计维度建模和事实表，从而支持后续的复杂业务指标计算。

建议先掌握内容

了解 Spark 的运行机制和基本 API，如 RDD 和 DataFrame。
具备 Hive 的基本语法和数据管理能力。
熟悉数据仓库的基本概念，如分层模型和维度建模。
理解数据清洗的常见问题及应对策略，如字段缺失、数据类型不匹配等。
掌握如何将业务需求转化为数据模型。

数仓分层计算模块适合对大数据处理有一定经验的开发者。建议在学习此部分前，先掌握 Spark 的数据处理流程和 Hive 的基本操作，尤其是如何通过 Hive 表结构设计支持后续的业务分析。该模块不仅帮助开发者理解数仓的构建逻辑，也为后续的数据可视化展示打下坚实的数据基础。

FineBI 可视化大屏展示

FineBI 是本项目中用于最终数据展示的工具，其核心在于如何将结构化数据转化为可视化图表，并通过大屏展示给业务人员。开发者将学习 FineBI 的数据连接方式，包括如何对接 Hive 表、HDFS 文件以及通过 SQL 查询获取数据。这部分内容涵盖了数据源配置、字段映射、数据集创建和图表类型选择。

在构建可视化大屏时，开发者需要掌握 FineBI 的仪表盘设计、图表联动、数据钻取等高级功能。同时，还需了解如何将数据展示结果与业务需求对齐，比如车辆续航分析、充电行为统计、故障日志汇总等。通过该项目，开发者可以系统性地学习如何将复杂的数据逻辑转化为直观的业务洞察，并为后续的可视化项目提供可复用的模板和方法。

建议先掌握内容

掌握 FineBI 的基本使用流程，包括数据源连接和图表设计。
了解如何将 Hive 表或 Spark 计算结果作为数据源。
熟悉常见的可视化图表类型及其适用场景。
具备一定的数据抽象和业务分析能力。
理解如何将数据分析结果与业务指标结合。

该模块适合具备一定数据处理能力的开发者，尤其是已经完成数仓环境搭建和计算模块的用户。建议在掌握数据分层和计算逻辑后，再进入 FineBI 的学习，这样可以更高效地将前后端数据结果进行整合和展示。

资料怎么配合练习

本课程提供的资料包包含完整的项目代码、配置文件、数据样例以及相关文档。开发者可以通过对照这些资料，逐步实现从环境搭建到数据计算再到可视化展示的全流程。每一个阶段都配有具体的代码示例和操作指导，便于理解并动手实践。

建议开发者按照课程的逻辑顺序逐步练习，从数据采集开始，到数仓建模，再到计算和展示，每一步都应结合实际业务需求进行测试与验证。例如，在采集阶段，可以模拟日志生成并验证 Flume 和 Kafka 的数据传输是否正常；在计算阶段，可以运行 Spark 任务并检查 Hive 表的生成是否符合预期；在展示阶段，可以利用 FineBI 构建仪表盘并测试数据查询的性能与准确性。

通过这种方式，开发者不仅能够掌握数仓的实际构建方法，还能在过程中理解其背后的业务逻辑和技术原理。资料中的代码和配置文件具有很高的可复用性，开发者可以将其作为模板应用到其他类似项目中，提升开发效率。

课程介绍

新能源汽车数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、FineBI可视化大屏展示。项目的核心内容为汽车行驶连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形式，完成需求指标的分析计算。

项目从0到1完成数仓框架环境搭建、数仓建模分析，以及最终数据的可视化展示，了解数仓建模理论体系及实际应用，并为连续的日志分析提供了有效解决方法。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、DolphinScheduler、Datax、FineBI、ZooKeeper等。

课程目录

/13-026-尚硅谷-大数据技术之新能源汽车数仓/
│├─01_新能源汽车课程介绍.mp4
│├─02_新能源汽车数仓概述.mp4
│├─03_数仓需求介绍及框架选择.mp4
│├─04_数仓架构介绍.mp4
│├─05_服务器选型介绍.mp4
│├─06_集群资源规划介绍.mp4
│├─07_采集数据格式介绍.mp4
│├─08_克隆准备3台虚拟机.mp4
│├─09_分发脚本和免密登录配置.mp4
│├─10_jdk安装部署.mp4
│├─11_环境变量配置介绍.mp4
│├─12_节点进程查看脚本介绍.mp4
│├─13_zookeeper的安装部署和使用.mp4
│├─14_hadoop配置介绍.mp4
│├─15_hadoop高可用配置及群起脚本.mp4
│├─16_hdfs的多目录配置和集群平衡.mp4
│├─17_hadoop的参数调优.mp4
│├─18_kafka的安装部署.mp4
│├─19_kafka命令行简单介绍.mp4
│├─20_flume的安装及内存的调整.mp4
│├─21_mysql的安装部署.mp4
│├─22_mysql远程软件连接的问题解决.mp4
│├─23_采集数据模拟生成展示.mp4
│├─24_日志采集架构及组件选择.mp4
│├─25_采集日志flume的配置文件编写.mp4
│├─26_日志采集flume的测试及脚本编写.mp4
│├─27_消费flume的配置编写.mp4
│├─28_消费flume的拦截器编写.mp4
│├─29_消费flume日志演示.mp4
│├─30_维度数据同步策略选择.mp4
│├─31_Datax同步工具简单介绍.mp4
│├─32_Datax架构原理介绍.mp4
│├─33_Datax基础实现同步任务.mp4
│├─34_Datax使用传参演示.mp4
│├─35_Datax的并发控制和内存修改.mp4
│├─36_使用Datax完成维度表同步.mp4
│├─37_数仓建模模型介绍.mp4
│├─38_维度模型事实表和维度表介绍.mp4
│├─39_数仓环境搭建_hive的基础配置.mp4
│├─40_hive替换为spark引擎.mp4
│├─41_修改yarn对应am的内存限制.mp4
│├─42_配置数仓运行环境.mp4
│├─43_业务场景模拟_回顾采集通道.mp4
│├─44_业务场景模型_生成0502数据.mp4
│├─45_数仓分层介绍.mp4
│├─46_ods_hive映射hdfs成为表格介绍.mp4
│├─47_ods_hive函数get_json_object解析json数据.mp4
│├─48_ods_hive的serde简单介绍.mp4
│├─49_ods_hive使用serde解析json数据.mp4
│├─50_ods_日志表格建表介绍.mp4
│├─51_ods_hive导入日志表格数据演示.mp4
│├─52_ods_汽车信息表数据导入.mp4
│├─53_ods_数据导入脚本基础内容编写.mp4
│├─54_ods_数据导入脚本使用演示.mp4
│├─55_dim层维度表回顾.mp4
│├─56_dim层汽车信息维度表导入.mp4
│├─57_dim离线维度编码表导入.mp4
│├─58_dim层脚本数据导入.mp4
│├─59_dwd_事实表建模理论分析.mp4
│├─60_dwd_电动模式行驶日志事实表装载.mp4
│├─61_dwd_混动模式和新能源燃料模式行驶日志事实表装载.mp4
│├─62_dwd_充电日志事实表装载.mp4
│├─63_dwd_行驶充电和故障记录日志事实表装载.mp4
│├─64_dwd_电机日志事实表.mp4
│├─65_dwd_数据导入首日脚本编写.mp4
│├─66_dwd_数据导入脚本使用.mp4
│├─67_dws_搭建建模分析.mp4
│├─68_dws_纯电模式单次行程汇总表.mp4
│├─69_dws_纯电模式单次行程数据装载.mp4
│├─70_dws_单次充电聚合表数据导入.mp4
│├─71_dws_单次汇总数据脚本装载.mp4
│├─72_dws_最近1日里程聚合数据导入.mp4
│├─73_dws_告警单日汇总和电机信息单日汇总数据导入.mp4
│├─74_dws_单日电池组情况汇总基础数据读取.mp4
│├─75_dws_单日电池组每日汇总数据装载.mp4
│├─76_dws_每日聚合脚本数据装载.mp4
│├─77_ads_创建表格特点介绍.mp4
│├─78_ads_每月里程统计数据导入.mp4
│├─79_ads_最近7天里程汇总数据导入.mp4
│├─80_ads_不同类型汽车每月行程统计.mp4
│├─81_ads_告警主题每月汇总.mp4
│├─82_ads_温控主题每月汇总.mp4
│├─83_ads_能耗主题表格字段介绍.mp4
│├─84_ads_能耗主题充电指标计算.mp4
│├─85_ads_能耗主题旅次消耗计算.mp4
│├─86_ads_能耗主题最近100km能耗计算.mp4
│├─87_ads_能耗主题数据导入.mp4
│├─88_ads_汽车类型平均能耗计算.mp4
│├─89_ads_数据脚本导入.mp4
│├─90_数据导出建表语句.mp4
│├─91_数据导出样例演示.mp4
│├─92_脚本工具自动化生成datax的配置文件.mp4
│├─93_使用脚本完成datax数据导出.mp4
│├─94_dolphinScheduler架构介绍.mp4
│├─95_dolphinSchedule安装配置文件编写.mp4
│├─96_dolphinSchedule元数据配置及安装.mp4
│├─97_dolphinSchedule启动停止命令介绍.mp4
│├─98_dolphinSchedule管理用户介绍.mp4
│├─99_dolphinSchedule简单任务的执行演示.mp4
│├─100_dolphinSchedule的定时和传参功能.mp4
│├─101_dolphinSchedule的依赖资源和告警功能介绍.mp4
│├─102_新数据的全流程调度.mp4
│├─103_fineBI的安装部署和启动.mp4
│├─104_fineBI演示样例简单表格实现.mp4
│├─105_fineBI的钻取联动和过滤功能.mp4
│├─106_fineBI实战展示新能源汽车指标.mp4
│├─107_新能源数仓整体内容回顾.mp4
│├─笔记
│├─资料
笔记/
│├─尚硅谷大数据项目之新能源汽车数仓（1.环境部署和数据采集）.docx
│├─尚硅谷大数据项目之新能源汽车数仓（2.离线数仓搭建） .docx
│├─尚硅谷大数据项目之新能源汽车数仓（3.FineBI可视化）.docx
│├─新能源汽车数仓课程介绍.pptx
资料/
│├─1.java.exe
│├─10.dolphinscheduler.exe
│├─11.mock.exe
│├─12.装载脚本.exe
│├─13.帆软BI.exe
│├─2.zookeeper.exe
│├─3.hadoop.exe
│├─4.kafka.exe
│├─5.flume.exe
│├─6.mysql.exe
│├─7.spark.exe
│├─8.datax.exe
│├─9.hive.exe
│├─car_data_code.txt
│├─指标.txt