从零开始了解大数据(一)：数据分析入门篇

目录

前言

一、数据分析

1.企业数据分析方向

(1) 原因分析：离线分析 (Batch Processing)

(2) 现状分析：实时分析 (Real Time Processing | Streaming)

(3) 预测分析：机器学习 (Machine Learning)

2.数据分析基本步骤

3.大数据5V特征

4.分布式与集群

总结

前言

在开启大数据的探索之前，我们首先需要理解数据分析的基础与核心。毕竟，大数据的真正价值，是在于对其进行深入、有效的分析后，能够提取出有意义的信息和知识。本文将介绍有关数据分析的知识，希望对大家有所帮助。

一、数据分析

1.企业数据分析方向

在现代企业中，数据分析主要涵盖以下三大方向：

(1) 原因分析：离线分析 (Batch Processing)

此分析方法主要针对历史数据，对过去的事件进行深入剖析。通常，这种分析是按照一定的时间周期进行的，例如每周或每天（一周一分析（T+7），一天一分析（T+1）），因此得名“批处理”。

(2) 现状分析：实时分析 (Real Time Processing | Streaming)

与离线分析不同，实时分析关注的是当前正在产生的数据，其特点是从数据产生到数据分析，再到数据应用的时间间隔非常短，可以是秒级或毫秒级。

(3) 预测分析：机器学习 (Machine Learning)

预测分析主要利用历史数据和实时产生的数据来预测未来的趋势或事件。这一领域大量运用了数学算法，如分类、聚类、关联规则和预测模型等。

2.数据分析基本步骤

无论是处理大数据还是小数据，一个清晰、结构化的分析流程都是至关重要的。以下是进行数据分析时的六个基本步骤：

1. 明确分析目的和思路：在开始任何形式的分析之前，首先要明确分析的目标是什么，以及如何实现这一目标。
2. 数据收集：根据分析目的，从各种来源收集相关数据。
3. 数据预处理：这是数据分析中最为繁琐但也最为关键的步骤，包括数据清洗、数据转化、数据提取和数据计算等。
4. 数据分析：运用统计学方法、机器学习算法等工具对数据进行深入挖掘。
5. 数据展现（数据可视化）：通过图表、仪表板等形式将分析结果可视化，更直观地传达数据的意义。
6. 报告撰写：将分析过程和结果整理成报告，供决策者参考。

3.大数据5V特征

要理解大数据分析的特点，我们需要首先认识大数据的5V特征：

• Volume（数据体量大）：大数据的第一个特点就是数据量巨大，通常以PB（Petabytes）或EB（Exabytes）为单位来衡量。
• Variety（种类、来源多样化）：大数据不仅体量大，其种类和来源也非常多样，包括结构化数据（如数据库中的表格）、非结构化数据（如社交媒体上的文字或图片）以及半结构化数据（如XML文件）。
• Value（低价值密度）：虽然大数据体量巨大，但真正有价值的信息可能只占其中的一小部分，因此需要高效的分析方法来提炼价值。
• Velocity（速度快）：大数据的产生和处理速度都非常快，要求分析系统能够快速响应和处理数据流。
• Veracity（数据的质量）：由于大数据来源多样，其质量也参差不齐，包括准确性、完整性和一致性等方面都可能存在问题。

  4.分布式与集群

  在大数据领域，两个经常被提及的概念是“分布式”和“集群”：

  • 分布式系统：是由多台计算机组成的一个系统，每台计算机上部署不同的组件，共同完成一个任务。这种架构能够提供更好的扩展性和可靠性。
  • 集群：也是由多台计算机组成，但每台计算机上都部署相同的组件。这种架构常用于提高处理能力或实现高可用性。例如，Hadoop就是一个典型的分布式集群系统，其中每台机器上运行相同的Hadoop组件。

    ---

    总结

    以上就是数据分析的基础知识，下一篇将会介绍有关 Apache Hadoop 的相关内容，希望能对大家有所帮助。