标签： sparkIMF
##Hive on Spark bug很多，下面的步骤可能无效，本讲了解就可以！ 如果无效，只能重新编译源码了！
Hive on spark 官网 Hive on spark 官网 Getting Started
##配置Hive on Spark
显示具体的错误描述： hive --hiveconf hive.root.logger=DEBUG,console
###Windows配置
-
set hive.execution.engine=spark;
-
set spark.home=g:/runtime/spark-1.6.0;
-
set spark.master=local;
-
（此步骤可能不需要）Link the spark-assembly jar to HIVE_HOME/lib. Win系统下直接硬连接
mklink G:\runtime\hive-1.2.1\lib\spark-assembly-1.6.0-hadoop2.6.0.jar G:\runtime\spark-1.6.0\lib\spark-assembly-1.6.0-hadoop2.6.0.jar
-
执行hive hql语句进行测试
-
use hive;
-
select count(*) from people;
###Linux配置
- set hive.execution.engine=spark;
- set spark.home=/usr/local/spark-1.6.0;
- set spark.master=spark://master:7077;
- use hive;
- select count(*) from sogouq;