小编ash*_*ley的帖子

在Ruby中,Dir.glob("**/*.rb")(例如)不遍历符号链接目录.是否有可能获得**遍历符号链接？

我正在使用两个以这种方式查找文件的gem,但我需要它们来查看符号链接目录中的文件.

我有一个这样的批处理文件:

java temptable %1 %2

我需要上面的等效shell脚本.我将参数传递给shell脚本,并将其传递给temptable.

我正在看这个函数,trim但遗憾的是它不会删除"0",我该如何添加它呢？我应该用str_replace吗？

编辑:我想修改的字符串是一个消息号,如下所示:00023460

该功能ltrim("00023460", "0")正是我需要的:)显然我不想使用常规trim因为它也会删除结尾0但是因为我忘了添加我得到的答案很棒:)

我想在C中隐藏#ifdef和#ifndef块的块.看起来我需要使用Folding模式或Outline小调模式.

我想在C#中分割一个看起来像的字符串

A B C D"

这样得到的数组就会有

数组[0] ="a"

数组[1] ="b"

数组[2] ="c:d"

我使用什么正则表达式来实现所需的结果.

非常感谢

如何使用Scala打印列表中的第一个元素？

例如在Python中我可以写:

>>>l = [1,2,3,4]
>>>one = l[0]
>>>print one

我怎么能在Scala上做到这一点

谢谢.

我想使用spark将大型(51GB)XML文件(在外部硬盘上)读入数据帧(使用spark-xml插件),进行简单的映射/过滤,重新排序,然后将其写回磁盘,作为CSV文件.

但java.lang.OutOfMemoryError: Java heap space无论我如何调整它,我总是得到一个.

我想了解为什么不增加分区数量来阻止OOM错误

它不应该将任务分成更多部分,以便每个部分都更小并且不会导致内存问题吗？

(Spark可能不会尝试将所有东西都填入内存并且如果它不适合就会崩溃,对吧？)

我试过的事情:

• 在读取和写入时对数据帧进行重新分区/合并(5,000和10,000分区)(初始值为1,604)
• 使用较少数量的执行程序(6,4 ,即使有2个执行程序,我也会收到OOM错误!)
• 减少拆分文件的大小(默认看起来像是33MB)
• 给大量的RAM(我所拥有的)
• 增加到spark.memory.fraction0.8(默认值为0.6)
• 减少spark.memory.storageFraction到0.2(默认为0.5)
• 设置spark.default.parallelism为30和40(对我来说默认为8)
• 设置spark.files.maxPartitionBytes为64M(默认为128M)

我的所有代码都在这里(注意我没有缓存任何东西):

val df: DataFrame = spark.sqlContext.read
  .option("mode", "DROPMALFORMED")
  .format("com.databricks.spark.xml")
  .schema(customSchema) // defined previously
  .option("rowTag", "row")
  .load(s"$pathToInputXML")

println(s"\n\nNUM PARTITIONS: ${df.rdd.getNumPartitions}\n\n")
// prints 1604

// i pass `numPartitions` as cli arguments
val df2 = df.coalesce(numPartitions)

// filter and select only the cols i'm interested in
val dsout = df2
  .where( …

我正在使用AWS IOT源测试AWS Lambda.我的mqtt客户端正在发布不同的主题:设备A将数据发布到streaming/A,设备B将数据发布到streaming/BAWS Lambda中,因此我定义了一个SQL规则,选择来自主题的所有设备streaming/+.问题是,现在我没有设备源的信息,因为我只有一个Array[Byte]]额外的信息.如果有人有解决方案来访问带有主题信息的mqtt有效负载,我会接受它!

import java.io.{ByteArrayOutputStream, InputStream, OutputStream}
import com.amazonaws.services.lambda.runtime.{Context, RequestStreamHandler}
/**
  * Created by alifirat on 24/04/17.
  */
class IOTConsumer extends RequestStreamHandler {

  val BUFFER_SIZE = 1024 * 4

  override def handleRequest(input: InputStream, output: OutputStream, context: Context): Unit = {
    val bytes = toByteArray(input)
    val logger= context.getLogger
    logger.log("Receive following thing :"  + new String(bytes))
    output.write(bytes)
  }

   /**
     * Reads and returns the rest of the given input stream as a byte …

我正在尝试编写一个shell脚本来执行操作,如果用户主目录超过一定大小.不幸的是,当我尝试使用read命令分割du -s输出时,我得到'命令未找到',因为它试图将数字传递给shell,而不是像我想要的那样传递给变量.这是我到目前为止脚本的内容.

#!/bin/bash
cd /home
for i in `ls`
do
    j=`du -s $i`
    #this line gives me the error
    k=`$j |read first;`
done

我得到如下输出:

./takehome.sh: line 6: 3284972: command not found

其中3284972是目录的大小.

我正在使用一段具有广泛/深层案例类层次结构的代码。对于单元测试，我想在类中填充“随机数据”，以便能够更改我关心的字段的数据？

例：

case class Foo(bar: Bar, name: String, value: Int)
case class Bar(baz: Baz, price: Double)
case class Baz(thing: String)

所以像这样：

val randomFoo = GenerateRandomData(Foo)
randomFoo.bar.baz = Baz("custom for testing")

我听说过ScalaCheck，并Shapeless和Scalacheck-shapeless与他们提供某种形式的随机数据生成，但没有与定制看来的。

我目前正在使用，ScalaMock但这会扩展null字段并破坏“其他”测试的可测试性。我在.Net中使用了类似Auto Fixture的工具，并且想知道Scala中是否有类似的工具。