标签: apache-atlas

CuratorFrameworkImpl - 后台异常不可重试或重试放弃

Curator 框架版本 - 4.3.0,Zookeeper 版本 - 5.5.0

我们在 Kubernetes 上部署了 apache atlas,它使用 Zookeeper 从两个 atlas pod 中选出一个作为领导者。我们正在运行 3 个 Zookeeper Pod(3 个节点集群),其中一个 Pod 宕机应该不会造成任何问题。当一个 Zookeeper Pod 宕机时,Zookeeper 集群仍然是健康的,并且有一个 Zookeeper Leader 可用。我通过执行 Zookeeper pod 并检查 Zookeeper 状态来测试这一点。但是 curator 框架抛出以下错误 -

[main:] ~ Background exception was not retry-able or retry gave up (CuratorFrameworkImpl:685)
java.net.UnknownHostException: zookeeper-2.zookeeper-headless.atlas.svc.cluster.local: Name or service not known
    at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
    at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:929)
    at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1324)
    at java.net.InetAddress.getAllByName0(InetAddress.java:1277)
    at java.net.InetAddress.getAllByName(InetAddress.java:1193)
    at java.net.InetAddress.getAllByName(InetAddress.java:1127)
    at org.apache.zookeeper.client.StaticHostProvider.<init>(StaticHostProvider.java:61)
    at org.apache.zookeeper.ZooKeeper.<init>(ZooKeeper.java:445)
    at org.apache.curator.utils.DefaultZookeeperFactory.newZooKeeper(DefaultZookeeperFactory.java:29)
    at org.apache.curator.framework.imps.CuratorFrameworkImpl$2.newZooKeeper(CuratorFrameworkImpl.java:196) …
Run Code Online (Sandbox Code Playgroud)

apache-zookeeper apache-atlas apache-curator

6
推荐指数
1
解决办法
2056
查看次数

将元数据从 RDBMS 导入 Apache Atlas

我正在学习 Atlas 并试图找到一种从 RDBMS(例如 Sql Server 或 Postgre Sql)导入元数据的方法。

有人可以提供参考或步骤吗?

我在 docker 中使用 Atlas,并在 HBase 和 Solr 中构建。目的是从 AWS RDS 导入元数据。

更新1 重新表述我的问题。我们可以直接从 RDS Sql Server 或 PostgreSql 导入元数据,而不在 hive (hadoop) 中导入实际数据吗?

如有任何意见或答案,我们将不胜感激。谢谢你!

apache-atlas

5
推荐指数
1
解决办法
6539
查看次数

独立运行Apache Atlas

我试图在Ubuntu上以独立方式运行Apache Atlas,这意味着不必设置Solr和/或HBase。我所做的(根据文档:http : //atlas.apache.org/0.8.1/InstallationSteps.html)是克隆Git存储库,并使用HBase和dSolr嵌入构建Maven项目:

mvn clean package -Pdist,embedded-hbase-solr
Run Code Online (Sandbox Code Playgroud)

解压缩重新开始的tar.gz文件并执行bin / atlas_start.py-无需更改任何配置。据我了解,实际上应该与Atlas一起启动HBase的documentatino-对吗?

这是我在logs / applocation.log中找到的:

2017-11-30 17:14:24,093 INFO  - [main:] ~ >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> (Atlas:216)
2017-11-30 17:14:24,093 INFO  - [main:] ~ Server starting with TLS ? false on port 21000 (Atlas:217)
2017-11-30 17:14:24,093 INFO  - [main:] ~ <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< (Atlas:218)
2017-11-30 17:14:27,684 INFO  - [main:] ~ No authentication method configured.  Defaulting to simple authentication (LoginProcessor:102)
2017-11-30 17:14:28,527 INFO  - [main:] ~ Logged in user daniel (auth:SIMPLE) (LoginProcessor:77)
2017-11-30 17:14:31,777 INFO  - [main:] ~ …
Run Code Online (Sandbox Code Playgroud)

apache-atlas

4
推荐指数
1
解决办法
1150
查看次数

添加 Atlas 实体之间关系的简单示例?

使用 REST API 在 apache atlas 中添加实体之间的关系的正确方法是什么?查看REST API的文档,我发现很难说出某些字段的含义,哪些是必需的,哪些是必需的(以及如果没有输入会发生什么),或者默认值应该是什么(因为示例使用了什么似乎是占位符值(例如,what isprovenanceType或该propagateTags字段似乎需要某种枚举值,但从未指定有效选项))。

有人可以提供任何示例来说明实际/有效值中的情况吗?例如。如果已经将 2 个实体 E1 和 E2 添加到 Atlas 并希望在两者之间建立关系,则需要执行类似...

curl -X POST --header 'Content-Type: application/json;charset=UTF-8' --header 'Accept: application/json' -d '{<simplified json>}' 'https://atlas-server-hostname:21000/v2/relationship'
Run Code Online (Sandbox Code Playgroud)

[hph_etl@HW03 ~]$ curl -vv -u admin:admin -X POST --header 'Content-Type: application/json;charset=UTF-8' --header 'Accept: application/json' -d '{ \
   "createTime": 1565135406, \
   "createdBy": "hph_etl", \
   "end1": { \
     "guid": "2ddcda5b-2489-4636-a9ab-12b199c02422", \
     "typeName": "hdfs_path" \
   }, \
   "end2": { \
     "guid": "a33f45de-13d0-4a30-9df7-b0e02eb0dfd5", \
     "typeName": "hdfs_path" …
Run Code Online (Sandbox Code Playgroud)

apache-atlas hdp

4
推荐指数
1
解决办法
2482
查看次数