我正在尝试将 Hue 与启用了 ssl 的 oozie 服务器连接,但面临以下 SSL 问题。
Error submitting workflow Batch job for query-pig: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)
Run Code Online (Sandbox Code Playgroud)
从 oozie 服务器计算机创建 CA 证书并使用 Hue 服务器配置它。
我可以在我生成的证书的帮助下使用curl命令从oozie服务器获取状态信息。但仅当从 Hue 服务器进行通信时才会出现问题。
还在 oozie-site.xml 属性中添加了代理用户。
色调.ini
[利布兹]
# Oozie 服务运行的 URL。这是必需的,以便
# 个用户提交作业。空值禁用配置检查。
oozie_url=https://完全合格的主机名:11443/oozie
# 如果启用,则需要 oozie_url 中的 FQDN
安全启用=true
use_libpath_for_jars=false
# HDFS 上提交时部署工作流/协调器的位置。
Remote_deployment_dir=/user/hue/oozie/deployments
ssl_cert_ca_verify=true
我不知道从curl和hue服务器连接时有什么区别,因为curl非常适合我,而hue服务器则不行。
我正在使用Cloudera quickstart vm 5.1.0-1
我试图通过Hue将3GB的csv加载到Hadoop中,到目前为止,我尝试的是:-将csv加载到HDFS中,尤其是加载到名为/ user / hive / datasets的名为datasets的文件夹中-使用Metastore Manager将其加载到默认数据库
一切正常,这意味着我设法在正确的列中加载它。主要问题是,当我使用Impala查询表时,启动以下查询:
显示表格统计信息new_table
我意识到大小仅为64 MB,而不是csv的实际大小(应为3GB)。
另外,如果我通过Impala执行count(*),则行数仅为70000,而实际为700万。
任何帮助将不胜感激。
提前致谢。
在Hadoop上运行的所有配置单元查询都出错.
只需从存在的表中运行select语句并获得以下结果:
Fetching results ran into the following error(s):
Couldn't find log associated with operation handle:
OperationHandle[opType=EXECUTE_STATEMENT,
getHandleIdentifier()=263df9c3-c076-454f-a025-23f5b919e957]
Run Code Online (Sandbox Code Playgroud)
查询的伴随日志是:
请求TFetchResultsReq的错误状态(fetchType = 1,operationHandle = TOperationHandle(hasResultSet = False,modifiedRowCount = None,operationType = 0,operationId = THandleIdentifier(secret ='%\ x1d\x0f\x11\xce\xf4B\xd6\xb8\xb5\x8ddv\xceKV',guid ="\ xbc5\xd9 |\xfa\x13J'\ x86\x8e4\xb3\x87\xa0\xf4\x05")),orientation = 4,maxRows = -1):TFetchResultsResp(status = TStatus(errorCode = 0,errorMessage ="找不到与操作句柄关联的日志:OperationHandle [opType = EXECUTE_STATEMENT,getHandleIdentifier()= bc35d97c-fa13-4a27-868e-34b387a0f405]",sqlState = None,infoMessages = ["*org.apache.hive.service.cli.HiveSQLException:找不到与操作句柄关联的日志:OperationHandle [opType = EXECUTE_STATEMENT,getHandleIdentifier()= bc35d97c-fa13-4a27-868e-34b387a0f405]:25:24",'org.apache.hive.service.cli.operation.OperationManager:getOperationLogRowSet:OperationManager.java:257','org.apache.hive.service.cli.session.HiveSessionImpl:fetchResults:HiveSessionImpl.java:656','sun .reflect.GeneratedMethodAccessor29:invoke :: - 1','sun.reflect.DelegatingMethodAccessorImpl:invoke:DelegatingMethodAccessorImpl.java:43','java.lang.reflect.Method:invoke:Method.java:606','org.apache .hive.service.cli.session.HiveSessionProxy:invoke:HiveSessionProxy.java:79','org.apache.hive.service.cli.session.HiveSessionProxy:access $ 000:HiveSessionProxy.java:37','org.apache. hive.service.cli.session.HiveSessionProxy $ 1:run:HiveSessionProxy.java:64','java.security.AccessController:doPrivileged:AccessController.java:-2','javax.security.auth.Subject:doAs:Subject.java:415','org.apache.hadoop.security.UserGroupInformation:doAs:UserGroupInformation.java:1628','org.apache.hadoop.hive.shims.HadoopShimsSecure:doAs:HadoopShimsSecure.java:536',' org.apache.hive.service.cli.session.HiveSessionProxy:invoke:HiveSessionProxy.java:60','com.sun.proxy.$ Proxy28:fetchResults :: - 1','org.apache.hive.service.cli .CLIService:fetchResults:CLIService.java:427','org.apache.hive.service.cli.thrift.ThriftCLIService:FetchResults:ThriftCLIService.java:587','org.apache.hive.service.cli.thrift.TCLIService $ Processor $ FetchResults:getResult:TCLIService.java:1553','org.apache.hive.service.cli.thrift.TCLIService $ …
我在为散点图标记着色时遇到一些问题。我有一个简单的数据框,其中包含值“pos”和其他两个值“af_min”和“af_max”。我想根据 af_x 和 af_y 的某些条件为标记着色,但由于我没有任何列可用作色调,因此我创建了自己的列“颜色”。
pos af_x af_y color
0 3671023 0.200000 0.333333 2.0
1 4492071 0.176471 0.333333 2.0
2 4492302 0.222222 0.285714 2.0
3 4525905 0.298246 0.234043 2.0
4 4520905 0.003334 0.234043 1.0
5 4520905 0.400098 0.000221 0.0
6 4520905 0.001134 0.714043 1.0
7 4520905 0.559008 0.010221 0.0
Run Code Online (Sandbox Code Playgroud)
现在,我使用seaborn和seaborn调色板创建一个散点图:
sns.scatterplot(data = df, x="af_x", y="af_y", hue="color", palette = "hsv", s=40, legend=False)
但结果如下:如您所见,一种色调不会着色,因为只有两种颜色:蓝色和红色。
。
现在发生了一些非常奇怪的事情:为了解决这个问题,我构建了自己的调色板广告将其添加到seaborn istance中。但是散点图不是用我选择的色调进行着色,而是用我前段时间在另一个脚本中使用的一些颜色进行着色,并且无法更改它们。这是情节:
这是代码:
#violet #green #orange
colors = ['#747FE3', '#8EE35D', '#E37346']
sns.set_palette(sns.color_palette(colors))
sns.scatterplot(data = df, x="af_x", y="af_y", …Run Code Online (Sandbox Code Playgroud) 你能告诉我浓红色的色相、饱和度和价值指数的范围是多少吗?
我尝试使用此值进行颜色跟踪,但无法通过 Google 找到具体答案。
这是情况,我有一个SeekBar,当我滑动它时,我想要改变ImageView中图像的色调.我见过的关于改变色调的所有内容都需要使用ColorMatrix,但我不知道如何将位图与颜色矩阵相关联.建议?
我正在使用Hue过滤器来更改图像的色调:
CIFilter* hueFilter =
[CIFilter filterWithName:@"CIHueAdjust" <blah blah>
[NSNumber numberWithFloat:hue], nil];
Run Code Online (Sandbox Code Playgroud)
我有Hue我希望使用的号码Photoshop,但它与我从iOS获得的结果不符.
是否有规则将数字更改为PhotoShop我应该使用的数字iOS?
虽然这个问题已经有人问过了,但是没有具体的解决办法。我将非常感谢您的回答。在日志中,我看不到我们可以在 Hive 上看到的任何执行时间。
我有一张像
我期望这样的输出(将结果分组在一条记录中,并且 group_concat 应该按值 DESC 对结果进行排序)。
这是我试过的查询,
SELECT id,
CONCAT('{',CONCAT_WS(',',GROUP_CONCAT(CONCAT('"',key, '":"',value, '"'))), '}') AS value
FROM
table_name
GROUP BY id
Run Code Online (Sandbox Code Playgroud)
我希望目标表中的值应按源表值排序(降序)。
为此,我尝试执行GROUP_CONCAT(... ORDER BY value)。
看起来 Hive 不支持这个。有没有其他方法可以在蜂巢中实现这一目标?
有没有办法将 HUE 与 dataproc 集群集成?