小编Meh*_*ban的帖子

java.lang.ClassCastException使用远程服务器上的spark作业中的lambda表达式

我正在尝试使用sparkjava.com框架为我的apache spark作业构建一个web api.我的代码是:

@Override
public void init() {
    get("/hello",
            (req, res) -> {
                String sourcePath = "hdfs://spark:54310/input/*";

                SparkConf conf = new SparkConf().setAppName("LineCount");
                conf.setJars(new String[] { "/home/sam/resin-4.0.42/webapps/test.war" });
                File configFile = new File("config.properties");

                String sparkURI = "spark://hamrah:7077";

                conf.setMaster(sparkURI);
                conf.set("spark.driver.allowMultipleContexts", "true");
                JavaSparkContext sc = new JavaSparkContext(conf);

                @SuppressWarnings("resource")
                JavaRDD<String> log = sc.textFile(sourcePath);

                JavaRDD<String> lines = log.filter(x -> {
                    return true;
                });

                return lines.count();
            });
}
Run Code Online (Sandbox Code Playgroud)

如果我删除lambda表达式或将其放在一个简单的jar而不是web服务(不知何故是一个servlet)中,它将运行而没有任何错误.但是在servlet中使用lambda表达式将导致此异常:

15/01/28 10:36:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, hamrah): java.lang.ClassCastException: cannot assign instance …
Run Code Online (Sandbox Code Playgroud)

java lambda java-8 spark-java

22
推荐指数
2
解决办法
1万
查看次数

AttributeError:'Tensor'对象没有属性'numpy'

如何修复此错误我从GitHub下载了此代码.

predicted_id = tf.multinomial(tf.exp(predictions), num_samples=1)[0][0].numpy()
Run Code Online (Sandbox Code Playgroud)

抛出错误

AttributeError: 'Tensor' object has no attribute 'numpy'
Run Code Online (Sandbox Code Playgroud)

请帮我解决这个问题!

我用了:

sess = tf.Session()
    with sess.as_default():
       predicted_id = tf.multinomial(tf.exp(predictions), num_samples=1)[0][0].eval()
Run Code Online (Sandbox Code Playgroud)

我得到这个错误.有人帮助我,我只是想让它工作为什么这么难?

D:\Python>python TextGenOut.py
  File "TextGenOut.py", line 72
    predicted_id = tf.multinomial(tf.exp(predictions), num_samples=1)[0][0].eval()
    ^
IndentationError: unexpected indent

D:\Python>python TextGenOut.py
2018-09-16 21:50:57.008663: I T:\src\github\tensorflow\tensorflow\core\platform\cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
2018-09-16 21:50:57.272973: W T:\src\github\tensorflow\tensorflow\core\framework\op_kernel.cc:1275] OP_REQUIRES failed at resource_variable_ops.cc:480 : Not found: Container localhost does not exist. (Could not find resource: localhost/model/embedding/embeddings) …
Run Code Online (Sandbox Code Playgroud)

python numpy attributeerror tensorflow tensor

13
推荐指数
5
解决办法
2万
查看次数

从ImageView获取资源ID

我正在努力开发一款小游戏.

我有一个ViewFlipper,在ImageViews中有50张图片(4张图片的随机频率).然后我有4个按钮,相同的4张图片可以出现在ViewFlipper中.

任务是在出现右图时单击右键.(当显示图片1时,必须按下按钮1,依此类推)

我的问题是我不知道如何获取显示的ImageView ID.

flipper.getCurrentView().getId() 
Run Code Online (Sandbox Code Playgroud)

给我"-1"作为Id.但我想拥有"R.drawable.pic1"的ID

我的代码到目前为止:

我的装载机方法:

protected void loadPicturesIntoFlipper() {

    Random generator = new Random(); 
    pictures = new ArrayList();

    for(int i = 0; i < 50;i++){

        int number = generator.nextInt(4) + 1;

        if(number == 1){
            pic = R.drawable.pic1;
        }
        if(number == 2){
            pic = R.drawable.pic2;
        }
        if(number == 3){
            pic = R.drawable.pic3;
        }
        if(number == 4){
            pic = R.drawable.pic4;
        }

        pictures.add(pic);  
    }


    for(int i=0;i<pictures.size();i++)
    {

        setFlipperImage((Integer) pictures.get(i));
    }



}
Run Code Online (Sandbox Code Playgroud)

我的插入方法:

private void setFlipperImage(int res) {

    image = …
Run Code Online (Sandbox Code Playgroud)

resources android identifier imageview viewflipper

11
推荐指数
1
解决办法
3万
查看次数

在蜂巢中生成唯一ID

我一直在尝试为表的每一行(3000万+行)生成唯一的ID.

  • 由于Hadoop的并行特性,使用序列号显然不起作用.
  • 内置的UDFs rand()和hash(rand(),unixtime())似乎会产生冲突.

必须有一种简单的方法来生成行ID,我想知道有没有人有解决方案.

  • 我的下一步是创建一个Java map reduce作业,以生成一个真正的哈希字符串,其中包含一个安全的随机+主机IP +当前时间作为种子.但我想在做之前我会问这里;)

hash hadoop hive identifier

9
推荐指数
3
解决办法
2万
查看次数

一个快速生产者多个慢消费者的最佳方案是什么?

我正在寻找实现一个生产者多个消费者多线程应用程序的最佳方案.目前我正在使用一个队列来共享缓冲区,但它比一个生产者一个消费者的情况要慢得多.我打算这样做:

Queue<item>[] buffs = new Queue<item>[N];
object[] _locks = new object[N];
static void Produce()
{
    int curIndex = 0;
    while(true)
    {
        // Produce item;
        lock(_locks[curIndex])
        {
            buffs[curIndex].Enqueue(curItem);
            Monitor.Pulse(_locks[curIndex]);
        }
        curIndex = (curIndex+1)%N;
    }
}

static void Consume(int myIndex)
{
    item curItem;
    while(true)
    {
        lock(_locks[myIndex])
        {
            while(buffs[myIndex].Count == 0)
                Monitor.Wait(_locks[myIndex]);
            curItem = buffs[myIndex].Dequeue();
        }
        // Consume item;
    }
}

static void main()
{
    int N = 100;
    Thread[] consumers = new Thread[N];
    for(int i = 0; i < N; i++)
    { …
Run Code Online (Sandbox Code Playgroud)

c# multithreading producer-consumer processing-efficiency

4
推荐指数
1
解决办法
2164
查看次数

由于ConnectException,Hadoop映射失败

我试图在Hadoop 2.2.0集群上运行wordcount示例.由于此异常,许多地图都失败了:

2014-01-07 05:07:12,544 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.net.ConnectException: Call From slave2-machine/127.0.1.1 to slave2-machine:49222 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
    at org.apache.hadoop.ipc.Client.call(Client.java:1351)
    at org.apache.hadoop.ipc.Client.call(Client.java:1300)
    at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:231)
    at com.sun.proxy.$Proxy6.getTask(Unknown Source)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:133)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:708)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:493)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:547)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:642)
    at org.apache.hadoop.ipc.Client$Connection.access$2600(Client.java:314)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1399)
    at org.apache.hadoop.ipc.Client.call(Client.java:1318)
    ... …
Run Code Online (Sandbox Code Playgroud)

java hadoop mapreduce hadoop-yarn

4
推荐指数
1
解决办法
4411
查看次数

为什么两个单独创建的不可变对象具有相同的 id 而可变对象具有不同而它们都引用相同的值?

两个单独创建的可变列表具有不同的 ID。

Python外壳:(可变)

>>> mylist = ['spam', 'eggs']
>>> yourlist = ['spam', 'eggs']
>>> id(mylist), id(yourlist)
(49624456, 48910408)
Run Code Online (Sandbox Code Playgroud)

虽然两个单独创建的不可变字符串具有相似的 id。

Python外壳:(不可变)

>>> a = 10
>>> b = 10
>>> id(a), id(b)
(507099072, 507099072)
Run Code Online (Sandbox Code Playgroud)

ab引用同一个对象?如果不是,为什么 id 是相似的?是mylistyourlist引用不同的对象吗?如果是,为什么他们有不同的 id。

python immutability identifier concept mutability

4
推荐指数
1
解决办法
984
查看次数

命名空间"System"中不存在类型或命名空间名称"Device"

我正在尝试使用GeoCoordinate.Net Framework 4.5支持.我正在研究winodws 8,我有.Net Framework 4.5,但我一直在收到The type or namespace name 'Device' does not exist in the namespace 'System'错误.

有解决方案吗

c# namespaces

3
推荐指数
1
解决办法
9715
查看次数

Python:比较两个应该相同但不相同的字符串

我是菜鸟,所以我希望这是问这个问题的正确地方。这真让我发疯。我正在某些文本文件中寻找句子,这是部分代码:

SentenceIMLookingfor='blha blha blah'
with open('textfile.lua','r') as my_file:
    raw_dadat=my_file.read().split('\n')
    for i in range(1, len(raw_dadat)):
        if(raw_dadat[i]==SentenceIMLookingfor):
          DO_SOMETHING
Run Code Online (Sandbox Code Playgroud)

好吧,它什么也没做。(而且我需要知道“ SentenceIMLookingfor”在哪一行)。我已经检查了ID(ofc它们是不同的,所以如果我使用“ is”而不是“ ==”,则将无法使用)。另外,我确定该句子在我的文本文件中,甚至存储在raw_data [210]中。我检查了“类型”,它是str。句子中也有大约3个空格,我不知道这是否有帮助,并且“ len(raw_dadat)”或多或少等于4000。那么我看不出我在做什么错。在此先多谢!!

python string

2
推荐指数
1
解决办法
6905
查看次数

在MongoDB中生成_id与ObjectId自动生成

我正在开发一个创建永久链接的应用程序.我不确定如何在MondoDB中保存文档.两种策略:

  1. ObjectId自动生成

    MongoDB自动生成_id.我需要在该permalink字段上创建索引,因为我通过固定链接获取信息.我也可以使用该getTimestamp()方法访问ObjectId的创建时间,因此datetime字段似乎是多余的,但是如果我删除这个字段,我需要两次调用MongoDB来获取信息而另一次调用时间戳.

    {
      "_id": ObjectId("5210a64f846cb004b5000001"),
      "permalink": "ca8W7mc0ZUx43bxTuSGN",
      "data": "a lot of stuff",
      "datetime": ISODate("2013-08-18T11:47:43.460+-100")
    }
    
    Run Code Online (Sandbox Code Playgroud)
  2. 生成_id

    _id用永久链接生成了.

    {
      "_id": "ca8W7mc0ZUx43bxTuSGN",
      "data": "a lot of stuff",
      "datetime": ISODate("2013-08-18T11:47:43.460+-100")
    }
    
    Run Code Online (Sandbox Code Playgroud)

我没有看到使用ObjectIds的任何好处.我错过了什么吗?

database-design permalinks identifier mongodb

2
推荐指数
1
解决办法
5872
查看次数