sqoop mysql导入hive

问题描述

在使用Sqoop从MySQL向Hive中导数据时，遇到了数据库访问被拒绝的问题，具体表现为在执行Sqoop命令时，提示“ERROR 1045 (28000): Access denied for user 'username'@'localhost' (using password: YES)”。

问题分析

这个问题可能是由以下几个原因导致的：

1、MySQL用户名或密码错误；

2、MySQL用户没有访问Hive的权限；

3、Sqoop命令中的配置参数不正确。

解决方案

针对以上可能的原因，我们可以分别进行排查和解决。

1、检查MySQL用户名和密码

我们需要确认Sqoop命令中使用的MySQL用户名和密码是否正确，可以通过在MySQL命令行中执行以下命令来查看当前用户的权限信息：

SELECT user, host FROM mysql.user WHERE user = 'username';

如果发现用户名或密码错误，请修改Sqoop命令中的配置参数，确保使用正确的用户名和密码。

2、授权MySQL用户访问Hive的权限

如果MySQL用户有访问Hive的权限，但仍然出现访问被拒绝的问题，那么可能是MySQL用户没有被授权访问Hive，可以通过在MySQL命令行中执行以下命令来给用户授权访问Hive:

GRANT ALL PRIVILEGES ON *.* TO 'username'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
FLUSH PRIVILEGES;

将username和password替换为实际的用户名和密码，这个命令将给指定的用户赋予所有数据库的所有权限，并允许从任意IP地址访问，如果只想让用户从本地访问，可以将'%'替换为'localhost'。

3、检查Sqoop命令中的配置参数

在确认MySQL用户名和密码以及授权设置都正确的情况下，还需要检查Sqoop命令中的配置参数是否正确，主要关注以下两个参数：

--connect:指定MySQL的连接字符串，--connect jdbc:mysql://localhost:3306/database?useUnicode=true&characterEncoding=utf8&useSSL=false;

--hive-import:指定Hive的导入语句，`--hive-import --hive-table test_db.test_table --hive-overwrite --fields-terminated-by '\t' --lines-terminated-by '

' -m 1 --num-mappers 1`。

确保这两个参数都正确设置，然后重新执行Sqoop命令，看是否还会出现访问被拒绝的问题。

相关问题与解答

Q1:如何查看MySQL中的数据库列表？

A1:可以使用以下命令查看MySQL中的数据库列表：

SHOW DATABASES;

Q2:如何在Hive中创建表？

A2:可以使用Hive的SQL语句创建表，

CREATE TABLE test_db.test_table (id INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY 't' LINES TERMINATED BY '
';