小编har_der的帖子

如何在角度js中从tsv加载数据后才能呈现指令

我想整合d3.js和angularjs.我必须绘制一个玲图.数据从tsv文件加载.我在渲染图时遇到问题,错误是数据尚未加载并且图形呈现.我希望当数据加载到范围变量中时,应该不显示图形.请帮忙.这是控制器的代码

phonecatControllers.controller('MainCtrl', ['$scope',
     function($scope) {
       d3.tsv("sample.tsv", function(error, data) {
       $scope.d3Data = data;
 });
}]);

Run Code Online (Sandbox Code Playgroud)

这是指令代码

directives.directive('d3Bar', [ function() {
return {
    restrict : 'E',
    scope : {
        data : '='
    },
    link : function(scope, element) {
        scope.$watch('data', function(newData, oldData) {
            drawLine(newData);
        }, true);
    }
}

Run Code Online (Sandbox Code Playgroud)

}

和HTML是

<body ng-controller='MainCtrl'>
    <d3-bar data='d3Data'></d3-bar>

</body>

Run Code Online (Sandbox Code Playgroud)

javascript tsv d3.js angularjs

3
推荐指数

2
解决办法

5476
查看次数

选择框中的ng-model无法正常工作

我使用角度js绘制选择框.

 <select ng-model="selected">
     <option value="{{obj.id}}" ng-repeat="obj in values">{{obj.name}} </option>
 </select>
 selected id - {{selected}}

Run Code Online (Sandbox Code Playgroud)

此处未根据值初始化所选的默认值selected.

为这个问题做了一个小提琴.

javascript angularjs angular-ngmodel

3
推荐指数

1
解决办法

9388
查看次数

Spring JDBC模板ROW Mapper太慢

我有一个使用 Spring 的数据库获取调用jdbcTemplate，要获取的行数约为 100 万。在结果集中迭代需要太多时间。调试行为后，我发现它像批处理一样处理一些行，然后等待一段时间，然后再次获取一批行并处理它们。行处理似乎不是连续的，因此总时间将持续几分钟。我使用了数据源的默认配置。请帮忙。

[编辑]

这是一些示例代码

this.prestoJdbcTempate.query(query, new RowMapper<SomeObject>() {
            @Override
            public SomeObject mapRow(final ResultSet rs, final int rowNum) throws SQLException {

                System.out.println(rowNum);
                SomeObject obj = new SomeObject();
                obj.setProp1(rs.getString(1));
                obj.setProp2(rs.getString(2));
                ....
                obj.setProp8(rs.getString(8));
                return obj;
            }
    });

Run Code Online (Sandbox Code Playgroud)

java spring jdbc jdbctemplate

3
推荐指数

1
解决办法

6661
查看次数

弹性搜索无法写入所有条目：可能是es被重载

我有一个应用程序，我在其中读取 csv 文件并进行一些转换，然后将它们从 spark 本身推送到弹性搜索。像这样

input.write.format("org.elasticsearch.spark.sql")
              .mode(SaveMode.Append)
              .option("es.resource", "{date}/" + type).save()

Run Code Online (Sandbox Code Playgroud)

我有几个节点，在每个节点中，我运行 5-6 个spark-submit推送到elasticsearch

我经常收到错误

Could not write all entries [13/128] (Maybe ES was overloaded?). Error sample (first [5] error messages):
        rejected execution of org.elasticsearch.transport.TransportService$7@32e6f8f8 on EsThreadPoolExecutor[bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@4448a084[Running, pool size = 4, active threads = 4, queued tasks = 200, completed tasks = 451515]]

Run Code Online (Sandbox Code Playgroud)

我的 Elasticsearch 集群有以下统计信息 -

Nodes - 9 (1TB space,
Ram >= 15GB ) More than 8 cores per node …

Run Code Online (Sandbox Code Playgroud)

elasticsearch apache-spark apache-spark-sql elasticsearch-spark

3
推荐指数

1
解决办法

2707
查看次数

如何在python中公开s3存储桶

我在亚马逊 s3 中已经创建了一个存储桶。我想在没有任何身份验证的情况下公开其内容。我已经尝试过 boto 的文件

要为存储桶设置固定 ACL，请使用 Bucket 对象的 set_acl 方法。传递给此方法的参数必须是 acl.py 中包含的 CannedACLStrings 列表中命名的四个允许的固定策略之一。例如，要使任何人都可以读取存储桶：

b.set_acl('公开阅读')

它不工作。我仍然无法公开访问我的文件。但是，public-read为单个文件设置 acl是有效的。

我想从 python 公开它，因为我无权访问 s3 控制台。

我想让整个存储桶公开可读。

我的代码是

    conn = boto.connect_s3(
        aws_access_key_id = access_key,
        aws_secret_access_key = secret_key,
        host = 's3.amazonaws.com',
        #is_secure=False,               # uncomment if you are not using ssl
        calling_format = boto.s3.connection.OrdinaryCallingFormat(),
        )
bucket = conn.get_bucket('media_library')
bucket.set_acl('public-read')

Run Code Online (Sandbox Code Playgroud)

python amazon-s3

2
推荐指数

1
解决办法

2293
查看次数

Android：HTTPS 网址在 Okhttp3 中不起作用

我在我的 android 应用程序中使用 Okhttp3 来下载文件。我在使用 https 网址时遇到问题。

我有两个网址

    String url1 = "https://cbsenet.nic.in/cbsenet/PDFDEC2014/Paper%20III/D-01-3.pdf";
    String url2 = "https://www.ugcnetonline.in/question_papers/June2014_paper-II/J-02-14-II.pdf";

Run Code Online (Sandbox Code Playgroud)

url2工作正常，而对于url1，我遇到异常

线程“main”中的异常 javax.net.ssl.SSLHandshakeException：sun.security.validator.ValidatorException：PKIX 路径构建失败：sun.security.provider.certpath.SunCertPathBuilderException：无法找到请求目标的有效认证路径

我创建了一个示例 java 程序来演示问题

public static void main(String[] args) throws IOException {

    String url1 = "https://cbsenet.nic.in/cbsenet/PDFDEC2014/Paper%20III/D-01-3.pdf";
    String url2 = "https://www.ugcnetonline.in/question_papers/June2014_paper-II/J-02-14-II.pdf";

    Request request = new Request.Builder()
            .url(url1)
            .build();

    OkHttpClient client = new OkHttpClient();
    Response response = client.newCall(request).execute();
    System.out.println(response.body().string());
}

Run Code Online (Sandbox Code Playgroud)

java android okhttp3

2
推荐指数

1
解决办法

1940
查看次数

当Kafka主题中只有一个分区并且有多个使用者时，会发生什么？

我有一个只有一个分区的Kafka主题，但在以下情况下我不会得到什么？消息将如何传递给消费者？

如果所有消费者都在同一组中

如果所有消费者都在不同的组中

我不确定消费者会收到唯一消息还是重复消息。

2
推荐指数

1
解决办法

584
查看次数

从spark写入elasticsearch非常慢

我正在处理一个文本文件,并将转换后的行从Spark应用程序写入弹性搜索

input.write.format("org.elasticsearch.spark.sql")
      .mode(SaveMode.Append)
      .option("es.resource", "{date}/" + dir).save()

Run Code Online (Sandbox Code Playgroud)

这运行速度非常慢,大约需要8分钟才能写入287.9 MB/1513789条记录.

如果网络延迟始终存在,我如何调整spark和elasticsearch设置以使其更快.

我在本地模式下使用spark,有16个内核和64GB RAM.我的elasticsearch集群有一个主节点和3个数据节点,每个节点有16个核心和64GB.

我正在阅读如下文本文件

 val readOptions: Map[String, String] = Map("ignoreLeadingWhiteSpace" -> "true",
  "ignoreTrailingWhiteSpace" -> "true",
  "inferSchema" -> "false",
  "header" -> "false",
  "delimiter" -> "\t",
  "comment" -> "#",
  "mode" -> "PERMISSIVE")

Run Code Online (Sandbox Code Playgroud)

....

val input = sqlContext.read.options(readOptions).csv(inputFile.getAbsolutePath)

Run Code Online (Sandbox Code Playgroud)

elasticsearch apache-spark elasticsearch-5 elasticsearch-spark

1
推荐指数

1
解决办法

1305
查看次数

如何从Cassandra表中加载行作为Spark中的Dataframe？

我可以将整个Cassandra表加载为如下数据帧

val tableDf = sparkSession.read
      .format("org.apache.spark.sql.cassandra")
      .options(Map( "table" -> table, "keyspace" -> keyspace))
      .load()

Run Code Online (Sandbox Code Playgroud)

但我找不到通过主键获取行的方法,比如

select * from table where key = ''

Run Code Online (Sandbox Code Playgroud)

有没有办法做到这一点？

scala cassandra apache-spark spark-cassandra-connector

0
推荐指数

1
解决办法

3490
查看次数

标签统计

apache-spark ×3

elasticsearch ×2

elasticsearch-spark ×2

java ×2

angular-ngmodel ×1

apache-kafka ×1

apache-spark-sql ×1

elasticsearch-5 ×1

jdbc ×1

jdbctemplate ×1

spark-cassandra-connector ×1

tsv ×1

«
1
2
»