Spark

HIVE VS SPARK

spark是一个计算引擎，hive是一个存储框架。他们之间的关系就像发动机组与加油站之间的关系。

类似于spark的计算引擎还有很多，像mapreduce，flink等等。

类似于hive的存储框架也是数不胜数，比如pig。

最底层的存储往往都是使用hdfs。

如果将spark比喻成发动机，hive比喻为加油站，hdfs类似于石油。

参考1

在超大数据规模处理的场景下，Spark和Hive都有各自的优势。Spark由于其基于内存的计算模型，可以提供比Hive更高的处理速度。然而，Hive作为一种基于Hadoop的数据仓库工具，提供了类SQL的查询语言HQL，对于熟悉SQL的用户来说非常友好。

具体选择使用哪种工具需要考虑以下因素：

数据规模：如果处理的数据规模较小（例如几百GB），并且对处理延迟的要求不是非常高，那么可以考虑使用Hive。

处理速度：对于需要快速处理大量数据的场景，Spark是更好的选择。因为Spark的计算过程中数据流转都是在内存中进行的，这极大地减少了对HDFS的依赖，提高了处理速度。

技术背景：对于熟悉SQL的用户，Hive可能更容易上手。而对熟悉Scala或Python的开发者来说，Spark可能更合适。

查询复杂性：如果需要进行复杂的数据分析和机器学习任务，Spark提供的丰富的数据处理和机器学习API将非常有用。而对于简单的查询和分析任务，Hive可能是更经济的选择。

总的来说，超大数据规模的处理需要综合考虑多种因素来选择合适的工具。在一些情况下，两者也可以并行使用，比如采用Hive on Spark的模式，结合两者的优点来进行大数据处理。

参考2

Hive简介

Hive是建立在Hadoop之上的数据仓库基础设施，它提供了类似于SQL的查询语言，使得非开发人员也能够方便地分析大规模数据。Hive将SQL语句转换为MapReduce任务，并将数据存储在Hadoop分布式文件系统（HDFS）中。

Hive的优点包括：

SQL语法：Hive使用类似于SQL的查询语言，使得用户能够使用熟悉的语法进行数据分析。

数据抽象：Hive允许用户定义表结构和分区，将数据抽象为表格的形式，方便数据的组织和管理。

扩展性：Hive可以处理大规模的数据集，通过使用Hadoop集群的计算和存储能力，可以轻松地处理PB级别的数据。

生态系统：Hive在Hadoop生态系统中具有广泛的支持和集成，可以与其他工具和平台无缝集成。
然而，Hive也有一些缺点：

延迟：由于Hive将SQL语句转换为MapReduce任务，每次查询都需要进行作业调度和数据读取，因此查询的延迟较高。

灵活性：Hive的查询语言相对较为受限，不支持复杂的数据处理和计算。
Spark简介

Spark是一个基于内存的大数据处理框架，它支持多种编程语言（如Scala、Python和Java），提供了高效的数据处理和计算能力。Spark可以在内存中处理数据，并且通过将数据缓存在内存中，大大减少了查询和计算的延迟。

Spark的优点包括：

速度：由于Spark将数据缓存在内存中，可以大大减少查询和计算的延迟，提高处理速度。

灵活性：Spark提供了丰富的API和函数库，可以进行复杂的数据处理、计算和机器学习任务。

实时处理：Spark支持流式数据处理，可以进行实时的数据分析和处理。

生态系统：Spark有一个庞大的生态系统，包括Spark SQL、Spark Streaming、Spark MLlib等组件，可以满足各种不同的数据处理需求。
然而，Spark也有一些缺点：

内存消耗：由于Spark将数据缓存在内存中，因此对于大规模数据集来说，可能需要大量的内存资源。

学习曲线：相对于Hive而言，Spark的学习曲线较陡峭，需要一定的编程和开发能力。
如何选择Hive还是Spark

选择使用Hive还是Spark需要根据具体的需求和场景进行评估。下面是一些选择的考虑因素：

数据规模

如果数据规模较小（例如几百GB），并且延迟不是非常关键，那么可以考虑使用Hive。Hive可以轻松处理小规模的数据，并且具有低延迟的查询能力。

如果数据规模较大（例如几TB或PB级别），并且需要快速的查询和计算能力，那么建议使用Spark。Spark能够将数据缓存到内存中，提供高速的查询和计算，并且可以轻松处理大规模数据集。

数据处理需求

如果只需要进行简单的数据查询和报表分析，而不需要进行复杂的数据处理和计算，那么可以考虑使用Hive。Hive提供了类似于SQL的查询语言，非开发人员也能够方便地进行数据分析。

如果需要进行复杂的数据处理和计算，例如机器学习、图计算

参考3

1.spark

spark是一个数据分析、计算引擎，本身不负责存储；

可以对接多种数据源，包括：结构化、半结构化、非结构化的数据；

其分析处理数据的方式有多种发，包括：sql、Java、Scala、python、R等；其中spark-sql用来对结构化数据分析处理，它将数据的计算任务通过SQL的形式转换成了RDD的计算。
2.hive

数据仓库，主要负责数据存储和管理，看作MapReduce计算引擎+HDFS分布式文件系统,直观理解就是Hive的SQL通过很多层解析成了MR程序，然后存储是放在了HDFS上，并且只能用SQL这种方式来处理结构化数据，因此spark和hive是互不依赖的。

3.spark和hive的结合

实际应用两者结合，有三种方式：hive on spark、spark on hive、spark+spark hive catalog,常见的是第一种，是因为hive底层现在支持三种计算计算引擎：mr\tez\spark。

第一种：使用hive的语法规范即hive sql，执行时编译解析成spark作业运行（当然此时底层的计算引擎是spark）；

第二种：因为spark本身只负责数据处理而不是存储，支撑多种数据源，当我们使用spark来处理分析存储在hive中的数据时（把hive看作一种数据源，常见的其他数据源包括：JDBC、文件等），这种模式就称为为 spark on hive。这个时候可以使用spark的各种语言的API，也可以使用hive的hql

第三种：我感觉有点难，了解即可，只是现在好像发展挺快的，用的人挺多的
4.Hive VS Spark

Hive：数据存储和清洗，处理海量数据，比如一个月、一个季度、一年的数据量，依然可以处理，虽然很慢；

Spark SQL：数据清洗和流式计算，上述情况下 Spark SQL 不支持，无法处理，因为其基于内存，量级过大承受不住，并且性价比不如hive高；

结合来说，hive的强项在于：1、大数据存储，2、通过sql方式进行MapReduce操作，降低大数据使用门槛。spark强项在于：1、基于内存的MapReduce操作，速度快2、流式计算（对标产品flink,storm)。运用上大多两者集合，hive负责廉价的数据仓库存储，spark-sql负责告诉计算，并结合DataFrame进行复杂的数据挖掘（包括机器学习、图计算等复杂算法）。

参考4

一、spark和hive的区别

Hive：

1. hive底层是hdfs【分布式文件系统】+MapReduce【MR计算引擎】。那么直观理解就是HIVE的SQL通过很多层解析成了MR程序，然后存储是放在了HDFS上。、

2. hive是一种基于HDFS的数据仓库，并且提供了基于SQL模型的，针对存储了大数据的数据仓库，进行分布式交互查询的查询引擎

Spark：

1. spark是个生态群，目前最活跃的是spark sql ,spark core，除此之外还有spark mllib,sparkR,spark Graphx。所以底层是RDD（弹性分布式数据集）计算，同时也可以支持很多存储形式，但是主流存储形式还是HDFS。

2. 支持大量不同的数据源，包括hive、json、parquet、jdbc等等。SparkSQL由于身处Spark技术堆栈内，基于RDD来工作，因此可以与Spark的其他组件无缝整合使用，配合起来实现许多复杂的功能。比如SparkSQL支持可以直接针对hdfs文件执行sql语句；

3. spark提供了更为丰富的算子操作； spark提供了更容易的api,支持python,java,scala;

Spark为何比Hive快：

1. spark基于内存计算，而hive基于磁盘计算，spark的job输出结果可保存在内存中，而MapReduce的job输出结果只能保存在磁盘中，io读取速度要比内存中慢，即内存的读取速度远超过磁盘读取速度，因此spark速度是Hive查询引擎的数倍以上

2. spark底层不需要调用MapReduce，而hive底层调用的是MapReduce；spark以线程方式进行运行，而hive以进程方式运行，一个进程中可以跑多个线程，进程要比线程耗费资源和时间

Spark不能完全替待hive：

1. Spark替代的是Hive的查询引擎。Spark本身是不提供存储的，所以不可能替代Hive作为数据仓库的这个功能，可以理解为替代的是hive中与数据进行交互的这一环节

2. Spark和Hive都是大数据处理的重要工具，它们各自有其独特的优势和使用场景。Hive是一个基于Hadoop的数据仓库工具，它提供了类SQL的查询语言HQL，对于熟悉SQL的用户来说非常友好。而Spark则是一个快速、通用、可扩展的大数据处理引擎，它提供了丰富的数据处理和机器学习API。

   在实际应用中，Spark和Hive可以独立使用，也可以结合使用。例如，Hive on Spark模式允许Hive用户无缝地将现有的Hive查询转移到Spark上，同时利用Spark的内存计算和调度优化来加速查询。此外，还有Hive on Tez、Tez on Spark等结合方式。

   然而，尽管Spark在某些方面（如处理速度）具有优势，但它并不能取代Hive。Hive作为一个分布式数据仓库平台，可以以关系数据库等表格的形式存储数据。对于需要进行复杂的数据分析和机器学习任务的场景，Spark提供的丰富的API非常有用。但对于需要进行简单的查询和分析任务的场景，或者对处理延迟的要求不是非常高的场景，Hive可能是更优的选择。

   因此，是否用Spark替代Hive需要根据具体的业务需求和技术背景来决定。在一些情况下，两者甚至可以并行使用，结合各自的优点来进行大数据处理。

SPARK ON YARN运行模式：Cluster VS Client