博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用IDEA查询HIVE数据,输出男女生人数
阅读量:3959 次
发布时间:2019-05-24

本文共 1447 字,大约阅读时间需要 4 分钟。

结构

hive-site.xml文件

需修改两个点

1、mysql默认连接库名称(在hive安装目录中的conf目录下的hive-site.xml文件,自行查阅)

2、用户名及密码

javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop:3306/metastore
JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
root
username to use against metastore database
javax.jdo.option.ConnectionPassword
1234
password to use against metastore database

 HiveDriver

import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionobject HiveDriver {  def main(args: Array[String]): Unit = {    Logger.getLogger("org").setLevel(Level.WARN)    val session = SparkSession.builder().master("local[2]").enableHiveSupport().getOrCreate()    //session.udf.register("aggr",new AggrNameUDF())    session.sql("use driver")    //输出男女生人数    val df = session.sql("select gender,count(*) count from dr group by gender")    //输出男生女生人数并输出对应的名字    //val df = session.sql("select gender,count(*) count,aggr(name) names from dr group by gender")    df.show()    session.stop()  }}

 

转载地址:http://waazi.baihongyu.com/

你可能感兴趣的文章