http://www.tech126.com/hive-mysql-metastore/
Hive默认是采用Derby来存储其Meta信息的,如下:
< property>
< name> javax. jdo. OPTION . ConnectionURL</ name>
< value> jdbc:derby:// zw- hadoop- master:1527 / metastore_db;create= true</ value>
< description> JDBC connect string FOR a JDBC metastore</ description>
</ property>
< property>
< name> javax. jdo. OPTION . ConnectionDriverName</ name>
< value> org. apache. derby. jdbc. ClientDriver</ value>
< description> Driver class name FOR a JDBC metastore</ description>
</ property>
我们可以修改一下配置,让Mysql来存储其Meta信息
首先,在Mysql服务器上建立相应的库,并赋权限
create database hivedb;
grant all privileges on hivedb.* to hiveuser@'%' identified by 'hiveuser';
grant all privileges on hivedb.* to hiveuser@'localhost' identified by 'hiveuser';
注:更改hivedb的编码为latin1否者会报错:Specified key was too long; max key length
然后,把mysql-connector-java-5.1.12-bin.jar拷贝到/cq/hive/lib下 //注意这里要从mysql官网下connector的包,不然可能出错
再修改hive-default.xml配置
< property>
< name> javax. jdo. OPTION . ConnectionURL</ name>
< value> jdbc:mysql:// 192. 168. 95. 25:3306 / hivedb?createDatabaseIfNotExist= true</ value>
< description> JDBC connect string FOR a JDBC metastore</ description>
</ property>
< property>
< name> javax. jdo. OPTION . ConnectionDriverName</ name>
< value> com. mysql. jdbc. Driver</ value>
< description> Driver class name FOR a JDBC metastore</ description>
</ property>
< property>
< name> javax. jdo. OPTION . ConnectionUserName</ name>
< value> hiveuser</ value>
< description> username TO USE against metastore database</ description>
</ property>
< property>
< name> javax. jdo. OPTION . ConnectionPassword</ name>
< value> hiveuser</ value>
< description> password TO USE against metastore database</ description>
</ property>
分享到:
相关推荐
hive metastore是hive的元数据管理服务,实际应用中很多第三方框架需要访问metastore服务,如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf.HiveConf; import org...
详细调研hivemetastore管理机制.zip
## Hive metastore 使用达梦数据库存储元数据 - 使用说明 1. **在达梦数据库中创建metastore将使用的用户和表空间** 2. **配置hive-site.xml** 3. **元数据初始化** ### 常见问题
hive-metastore-3.1.2.jar
3-9+HiveMetaStore服务在快手的挑战与优化
背景:由于Hive需要开启权限管理,安装网上教程,开启权限配置,重启集群后。 使用root用户登录,进入Hive命令行界面。 执行 create database test; 发现报错: Authorization failed:No privilege 'Create' found ...
在hive java api的时候 : 需要导入hive运行所需的jar包,导入jar包有两种方式可实现 1.使用maven依赖直接修改配置文件,以下为配置内容:(不推荐,会下载额外很多无用包,而且时间很长在1小时左右) 2.挑选必须...
mysql_hive配置文件需要的jar包,配置hive时用到,欢迎下载
独立的Hive Metastore 该项目可在本地运行Hive Metastore,或将其嵌入到容器中。 尽管是公开的,但该项目目前尚未记录,并且可能仍承载某些基础结构特定配置。 该项目的灵感来自和多亏了他
安装java 安装hadoop 安装saprk 安装mysql 安装hive spark连接hive,连接mysql
pyflink将mysql数据直接插入hive,由此可以延伸出pyflink实现hive关联mysql
cloudera manager中添加hive数据库使用mysql的配置的详细步骤
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
datax数据从hive表导入mysql表,数据缺失解决
mysql数据抽取,自动生成hive建表语句,只需要输入表名即可
新手学习大数据搭建环境所需要安装资料包,其中包括hive-mysql安装包,HIVE连接mysql驱动。其中包括 apache-hive-1.2.1-bin.tar.gz MySQL-client-5.6.24-1.el6.x86_64.rpm mysql-connector-java-5.1.27.tar.gz MySQL-...
Hbase 练习
大数据
spring-boot集成mybatis+druid实现 hive/mysql多数据源切换,用mysql数据库作为用户验证库以及用户信息库,hive作为数据可视化源库。
bde2020_hive-metastore-postgresql.tar