我们正在尝试设置Cloudera 5.5,其中HDFS将在s3上工作,因为我们已经在Core-site.xml中配置了必需属性
<property>
<name>fs.s3a.access.key</name>
<value>################</value>
</property>
<property>
<name>fs.s3a.secret.key</name>
<value>###############</value>
</property>
<property>
<name>fs.default.name</name>
<value>s3a://bucket_Name</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>s3a://bucket_Name</value>
</property>
设置完成后,我们可以从命令中浏览s3存储桶的文件
hadoop fs -ls /
它只显示s3上可用的文件.
但是,当我们启动纱线服务时,JobHistory服务器无法启动以下错误,并且在启动猪作业时,我们遇到相同的错误
PriviledgedActionException as:mapred (auth:SIMPLE) cause:org.apache.hadoop.fs.UnsupportedFileSystemException: No AbstractFileSystem for scheme: s3a
ERROR org.apache.hadoop.mapreduce.v2.jobhistory.JobHistoryUtils
Unable to create default file context [s3a://kyvosps]
org.apache.hadoop.fs.UnsupportedFileSystemException: No AbstractFileSystem for scheme: s3a
at org.apache.hadoop.fs.AbstractFileSystem.createFileSystem(AbstractFileSystem.java:154)
at org.apache.hadoop.fs.AbstractFileSystem.get(AbstractFileSystem.java:242)
at org.apache.hadoop.fs.FileContext$2.run(FileContext.java:337)
at org.apache.hadoop.fs.FileContext$2.run(FileContext.java:334)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
在Internet上进行serching时,我们发现我们需要在core-site.xml中设置以下属性
<property>
<name>fs.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
<description>The implementation class of the S3A Filesystem</description>
</property>
<property>
<name>fs.AbstractFileSystem.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
<description>The FileSystem for …我有6个节点的cloudera 5.0 beta集群启动并运行
但我无法使用命令查看hadoop HDFS的文件和文件夹
sudo -u hdfs hadoop fs -ls /
在输出中它显示linux目录的文件和文件夹.
虽然namenode UI显示文件和文件夹.
而在HDFS上创建文件夹时收到错误
sudo -u hdfs hadoop fs -mkdir /test
mkdir: `/test': Input/output error
由于此错误,hbase未启动并因以下错误而关闭:
Unhandled exception. Starting shutdown.
java.io.IOException: Exception in makeDirOnFileSystem
at org.apache.hadoop.hbase.HBaseFileSystem.makeDirOnFileSystem(HBaseFileSystem.java:136)
at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:352)
at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:134)
at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:119)
at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:536)
at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:396)
at java.lang.Thread.run(Thread.java:662)
Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:224)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:204)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:149)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:4846)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:4828)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:4802)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:3130)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:3094)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3075)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:669)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:419) …我有一个节点Cassandra 2.0.4启动并运行我需要在配置更改后重新启动我厌倦重新启动它通过引用此但不工作
>cassandra/bin/cassandra -p new
Error: Exception thrown by the agent :java.rmi.server.ExportException: Port already in use: 7199; nested exception is:
java.net.BindException: Address already in use
>kill $(cat new)
-bash: kill: (10404) - No such process
我做了安装参考这个
直到我必须重新启动它,我正在通过重新启动运行Cassandra的服务器来完成.
请告诉我重启apache Cassandra 2.0.4的正确方法是什么
![在此处输入图像描述] [1]这个问题可能看起来非常明显,但由于hadoop集群上主机文件的配置错误,我已经多次遇到过这个问题.
任何人都可以描述如何为hadoop和类似的环境使用设置主机文件和其他相关的网络配置(如cloudera).
特别是当我必须添加主机名和FQDN时
更新
这是主机名为cdh4hdm的机器之一的主机文件,具有hadoop Master的作用
127.0.0.1 cdh4hdm localhost
#127.0.1.1 cdh4hdm
# The following lines are desirable for IPv6 capable hosts
172.26.43.40 cdh4hdm.imp.co.in kdc1
172.26.43.41 cdh4hbm.imp.co.in
172.26.43.42 cdh4s1.imp.co.in
172.26.43.43 cdh4s2.imp.co.in
172.26.43.44 cdh4s3.imp.co.in
172.26.43.45 cdh4s4.imp.co.in
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
请参阅附图
在集群中,一些节点正在获取FQDN,一些节点正在获取主机名.
主机名IP也不正确,显示127.0.0.1而不是主机IP
请建议
我正在Cloudera 5 beta上启用安全模式。使用cloudera manager并从此处执行安全性的第8步后，cloudera manager应该触发Generate Credential命令，但不是。
所以我正在做的是手动运行“生成凭据”，但这给了我错误日志，即。
KADMIN='kadmin -k -t /etc/cloudera-scm-server/cmf.keytab -p cloudera-scm/admin@IMP.CO.IN -r IMP.CO.IN'
+ kadmin -k -t /etc/cloudera-scm-server/cmf.keytab -p cloudera-scm/admin@IMP.CO.IN -r IMP.CO.IN -q 'addprinc -randkey hue/cdh4hdm@IMP.CO.IN'
WARNING: no policy specified for hue/cdh4hdm@IMP.CO.IN; defaulting to no policy
add_principal: Operation requires ``add'' privilege while creating "hue/cdh4hdm@IMP.CO.IN".
+ kadmin -k -t /etc/cloudera-scm-server/cmf.keytab -p cloudera-scm/admin@IMP.CO.IN -r IMP.CO.IN -q 'xst -k /tmp/cmf4198733808580266866.keytab hue/cdh4hdm@IMP.CO.IN'
kadmin: Operation requires ``change-password'' privilege while changing hue/cdh4hdm@IMP.CO.IN's key
+ chmod 600 /tmp/cmf4198733808580266866.keytab
chmod: cannot access …我已经使用cqsql在Cassandra中创建了一个表
CREATE TABLE UnderTest (
rowID text PRIMARY KEY,
secondID text ,
Start_Time timestamp,
End_Time timestamp,
Exp int,
Act int,
Reason text
);
现在我使用如下插入命令将数据插入表中：
insert into UnderTest values ('1','A1','2011-02-03 04:05+0000','2011-02-03 05:05+0000','2011-02-03 06:08+0000','COMM');
在这个我得到错误：
Bad Request: line 1:115 mismatched input ';' expecting K_VALUES
有帮助吗？
我面临一个奇怪的问题,我无法在我的hdfs中看到文件.每当我做一个hadoop fs -ls我得到以下错误:
hadoop fs -ls
Warning: $HADOOP_HOME is deprecated.
ls: Cannot access .: No such file or directory.
我可以使用像copyfromlocal等命令但仍然无法在hdfs中看到它们也因为这个问题而无法运行猪脚本.如果我做了一个hadoop fs -ls/*我得到以下错误:
hadoop fs -ls /*
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - hduser hadoop 0 2014-02-14 16:49 /app/hadoop
ls: Cannot access /bin: No such file or directory.
ls: Cannot access /boot: No such file or directory.
ls: Cannot access /Data: No such file or directory.
ls: Cannot access /dev: No such file or directory.
ls: …