小编Jon*_*Jon的帖子

Spark迭代HDFS目录

我在HDFS上有一个目录目录,我想迭代这些目录.使用SparkContext对象有没有简单的方法来使用Spark?

hadoop hdfs apache-spark

34
推荐指数
3
解决办法
3万
查看次数

Spark SQL嵌套withColumn

我有一个DataFrame,它有多个列,其中一些是结构.像这样的东西

root
 |-- foo: struct (nullable = true)
 |    |-- bar: string (nullable = true)
 |    |-- baz: string (nullable = true)
 |-- abc: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- def: struct (nullable = true)
 |    |    |    |-- a: string (nullable = true)
 |    |    |    |-- b: integer (nullable = true)
 |    |    |    |-- c: string (nullable = true)
Run Code Online (Sandbox Code Playgroud)

我想UserDefinedFunction在列上应用一个baz替换baz功能baz,但我无法弄清楚如何做到这一点.这是一个所需输出的例子(注意baz …

scala dataframe apache-spark udf

15
推荐指数
1
解决办法
5824
查看次数

Heroku多区域支持

Heroku是否为其实施提供多区域支持?我对多个AWS区域中的master-master数据库设置特别感兴趣.

谢谢

database heroku amazon-web-services multi-master-replication heroku-postgres

12
推荐指数
1
解决办法
1156
查看次数

关于16位数据的双线性插值的Java错误

我对16位数据使用双线性插值有问题.我有两个图像,origImage和displayImage.我想使用AffineTransformOp通过AffineTransform将origImage过滤到displayImage,这是显示区域的大小.origImage的类型为BufferedImage.TYPE_USHORT_GRAY,并且具有sun.awt.image.ShortInterleavedRaster类型的栅格.这是我现在的代码

displayImage = new BufferedImage(getWidth(), getHeight(), origImage.getType());
try {
    op = new AffineTransformOp(atx, AffineTransformOp.TYPE_BILINEAR);
    op.filter(origImage, displayImage);
}
catch (Exception e) {
    e.printStackTrace();
}
Run Code Online (Sandbox Code Playgroud)

为了显示错误,我创建了2个渐变图像.一个具有15位范围内的值(最大值为32767),另一个值位于16位范围内(最大值为65535).以下是两张图片

15位图像 替代文字

16位图像 替代文字

这两个图像是以相同的方式创建的,看起来应该相同,但请注意16位图像中间的线条.起初我认为这是一个溢出问题,然而,奇怪的是它在梯度的中心而不是在像素值更高的末端表现出来.此外,如果它是溢出问题,我怀疑15位图像也会受到影响.

任何有关这方面的帮助将不胜感激.

我只是想知道为什么没有人回答,我提供了足够的信息吗?需要更多信息吗?

下面是我用来生成AffineTransform的代码.所有引用的变量都是根据用户输入(鼠标移动)计算出来的,并且应该是正确的(它已被包括我自己在内的很多人测试过).希望这可以帮助解决错误.

AffineTransform panTranslate = new AffineTransform();
panTranslate.translate(imagePanOffset.x, imagePanOffset.y);

AffineTransform rotateCenterTranslate = new AffineTransform();
rotateCenterTranslate.translate(imageRotateCTR.x, imageRotateCTR.y);
AffineTransform rotateTransform = new AffineTransform();
rotateTransform.rotate(Math.toRadians(rotateValue));
AffineTransform rotateAntiCenterTranslate = new AffineTransform();
rotateAntiCenterTranslate.translate(-imageRotateCTR.x, -imageRotateCTR.y);

AffineTransform translateTransform = new AffineTransform();
translateTransform.translate(imageMagOffset.x, imageMagOffset.y);

AffineTransform flipMatrixTransform = new AffineTransform();

switch (flipState) {
    case ENV.FLIP_NORMAL: // NORMAL
        break;

    case ENV.FLIP_TOP_BOTTOM: // …
Run Code Online (Sandbox Code Playgroud)

java bufferedimage image-processing 16-bit affinetransform

10
推荐指数
1
解决办法
2066
查看次数

在Java的ThreadPoolExecutor中重新排序队列

可能重复:
Java执行器:如何设置任务优先级?

我有一个使用LinkedBlockingDequeue构建的ThreadPoolExecutor,我想操纵底层队列,但是在文档中阅读这个让我非常紧张.

队列维护

方法getQueue()允许访问工作队列以进行监视和调试.强烈建议不要将此方法用于任何其他目的.当大量排队的任务被取消时,两个提供的方法remove(java.lang.Runnable)和purge()可用于协助存储回收.

具体来说,我希望能够

  1. 检查队列以查看元素是否已存在.我认为这很好,因为只需查看队列中的元素就不需要锁定.
  2. 我想根据一些信号重新排序队列.这显然很麻烦.我想知道是否有一种首选方法可以做到这一点,这样我就不会把队列弄得乱七八糟.

谢谢

java multithreading

8
推荐指数
1
解决办法
772
查看次数

Elastic Beanstalk的Elastic Load Balancer名称

我在AWS上创建了一个新的Elastic Beanstalk应用程序.我必须使用CNAME通过Network Solutions管理的DNS将流量重定向到Elastic Load Balancer的终点,并且它们对CNAME目标的长度有大小限制.看起来Elastic Beanstalk会为其负载均衡器选择非常大的随机名称.

  1. 有没有办法重命名负载均衡器?
  2. 有没有办法在Elastic Beanstalk初始化时指定负载均衡器名称?
  3. 如果我只是创建一个新的负载均衡器,有没有办法将它添加到我的Elastic Beanstalk环境中?

load-balancing amazon-web-services amazon-elastic-beanstalk

8
推荐指数
1
解决办法
3860
查看次数

在Java中使用Apache FOP的新字体

我必须国际化一个应用程序,因此必须让用户选择我将在运行时创建的PDF字体.我希望能够使用用户系统显示字体选择列表

GraphicsEnvironment.getLocalGraphicsEnvironment().getAllFonts();
Run Code Online (Sandbox Code Playgroud)

这工作正常,为获得字体,但随后似乎我通过一些跳铁圈来获取字体发挥好与FOP,作为概述这里.我可以按照他们概述的所有说明进行操作,但我不确定如何获取字体的位置以便运行TTFReader.

  1. 有谁知道如何列出java使用getAllFonts()命令收集的每种字体的路径?
  2. 在PDF中嵌入字体是个好主意吗?例如,Arial Unicode MS TFF文件大约为30 MB.
  3. 这是使用FOP和XSL创建国际化pdf的唯一方法吗?

java pdf xslt apache-fop

6
推荐指数
1
解决办法
3579
查看次数

Java 64位JDK问题

如果我使用64位JDK编译一些java文件然后从它们中创建一个JAR文件,那么生成的JAR是否正确地使用32位JRE,或者我是否必须使用32位JDK?

谢谢

java 64-bit

6
推荐指数
1
解决办法
343
查看次数

JDialog标题的字体大小

如何设置JDialog标题的字体大小.我在极高分辨率的显示器(500万像素)上显示JDialogs,对话标题不清晰.我需要在每个对话框的基础上执行此操作,因为应用程序是多监视器,一些对话框出现在较低分辨率的监视器上,一些对话框出现在较高分辨率的监视器上.

java fonts swing jdialog

6
推荐指数
1
解决办法
5098
查看次数

带有递归目录的厨师模板

我是Chef的新手,我正在试图找出模板(这看起来很酷).在我的旧部署结构中,我有一个我只想复制的目录.它有许多配置参数分散在目录中的整个文件中.我已经开始尝试将这些参数抽象为一个属性文件(更干净),但是在使用Chef安装它时遇到了麻烦.我用ERB修改了所有文件的扩展名以.erb结尾(我来自Rails背景,所以这对我来说似乎很自然).例如,我有一个名为run.conf的文件,它现在名为run.conf.erb.

理想情况下,我希望在配方中有一个模板块,它只复制目录中的所有文件,并使用我提供的变量更新那些.erb文件(删除.erb扩展名).这是我到目前为止的一个例子:

template "#{node["dcm4chee"]["home"]}" do
  source "server/"
  variables(
    "java_mem_opts" => node["dcm4chee"]["java_mem_opts"],
    "db_username" => node["dcm4chee"]["admin"]["username"],
    "db_password" => node["dcm4chee"]["admin"]["password"],
    "db_hostname" => node["mysql"]["hostname"],
    "db_port" => node["mysql"]["port"]
)
end
Run Code Online (Sandbox Code Playgroud)

我在templates/default下放了一个名为server的文件夹,该文件夹包含我想模板化的文件.#{node ["dcm4chee"] ["home"]}变量是我想将文件放在目标机器上的位置.理想情况下,我想在没有命名配方中的特定文件的情况下执行此操作,因为这样,如果我修改服务器目录的内容以进行部署,我就不必触摸配方.

这可能吗?如果是这样,我做错了什么?如果没有,我有什么选择.

谢谢

编辑

在考虑了这一点之后,我尝试使用一些自定义ruby代码来执行此操作.这是我当前尝试失败的NoMethodError引用ruby_block中初始调用的tempate_dir.

def template_dir(file)
  Dir.foreach("server") do |file|
    if File.file?(file)
      template "#{node["dcm4chee"]["home"]}/#{file}" do
        source "server/#{file}"
          variables(
            "java_mem_opts" => node["dcm4chee"]["java_mem_opts"],
            "db_username" => node["dcm4chee"]["admin"]["username"],
            "db_password" => node["dcm4chee"]["admin"]["password"],
            "db_hostname" => node["mysql"]["hostname"],
           "db_port" => node["mysql"]["port"]
          )
      end
    else
      directory "#{node["dcm4chee"]["home"]}/#{file}" do
        action :create
      end
      template_dir(file)
    end
  end
end

ruby_block "template the whole server directory" do …
Run Code Online (Sandbox Code Playgroud)

chef-infra

6
推荐指数
1
解决办法
3277
查看次数