我正在尝试使用sparkjava.com框架为我的apache spark作业构建一个web api.我的代码是:
@Override
public void init() {
get("/hello",
(req, res) -> {
String sourcePath = "hdfs://spark:54310/input/*";
SparkConf conf = new SparkConf().setAppName("LineCount");
conf.setJars(new String[] { "/home/sam/resin-4.0.42/webapps/test.war" });
File configFile = new File("config.properties");
String sparkURI = "spark://hamrah:7077";
conf.setMaster(sparkURI);
conf.set("spark.driver.allowMultipleContexts", "true");
JavaSparkContext sc = new JavaSparkContext(conf);
@SuppressWarnings("resource")
JavaRDD<String> log = sc.textFile(sourcePath);
JavaRDD<String> lines = log.filter(x -> {
return true;
});
return lines.count();
});
}
Run Code Online (Sandbox Code Playgroud)
如果我删除lambda表达式或将其放在一个简单的jar而不是web服务(不知何故是一个servlet)中,它将运行而没有任何错误.但是在servlet中使用lambda表达式将导致此异常:
15/01/28 10:36:33 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, hamrah): java.lang.ClassCastException: cannot assign instance …Run Code Online (Sandbox Code Playgroud) 如何修复此错误我从GitHub下载了此代码.
predicted_id = tf.multinomial(tf.exp(predictions), num_samples=1)[0][0].numpy()
Run Code Online (Sandbox Code Playgroud)
抛出错误
AttributeError: 'Tensor' object has no attribute 'numpy'
Run Code Online (Sandbox Code Playgroud)
请帮我解决这个问题!
我用了:
sess = tf.Session()
with sess.as_default():
predicted_id = tf.multinomial(tf.exp(predictions), num_samples=1)[0][0].eval()
Run Code Online (Sandbox Code Playgroud)
我得到这个错误.有人帮助我,我只是想让它工作为什么这么难?
D:\Python>python TextGenOut.py
File "TextGenOut.py", line 72
predicted_id = tf.multinomial(tf.exp(predictions), num_samples=1)[0][0].eval()
^
IndentationError: unexpected indent
D:\Python>python TextGenOut.py
2018-09-16 21:50:57.008663: I T:\src\github\tensorflow\tensorflow\core\platform\cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
2018-09-16 21:50:57.272973: W T:\src\github\tensorflow\tensorflow\core\framework\op_kernel.cc:1275] OP_REQUIRES failed at resource_variable_ops.cc:480 : Not found: Container localhost does not exist. (Could not find resource: localhost/model/embedding/embeddings) …Run Code Online (Sandbox Code Playgroud) 我正在努力开发一款小游戏.
我有一个ViewFlipper,在ImageViews中有50张图片(4张图片的随机频率).然后我有4个按钮,相同的4张图片可以出现在ViewFlipper中.
任务是在出现右图时单击右键.(当显示图片1时,必须按下按钮1,依此类推)
我的问题是我不知道如何获取显示的ImageView ID.
flipper.getCurrentView().getId()
Run Code Online (Sandbox Code Playgroud)
给我"-1"作为Id.但我想拥有"R.drawable.pic1"的ID
我的代码到目前为止:
我的装载机方法:
protected void loadPicturesIntoFlipper() {
Random generator = new Random();
pictures = new ArrayList();
for(int i = 0; i < 50;i++){
int number = generator.nextInt(4) + 1;
if(number == 1){
pic = R.drawable.pic1;
}
if(number == 2){
pic = R.drawable.pic2;
}
if(number == 3){
pic = R.drawable.pic3;
}
if(number == 4){
pic = R.drawable.pic4;
}
pictures.add(pic);
}
for(int i=0;i<pictures.size();i++)
{
setFlipperImage((Integer) pictures.get(i));
}
}
Run Code Online (Sandbox Code Playgroud)
我的插入方法:
private void setFlipperImage(int res) {
image = …Run Code Online (Sandbox Code Playgroud) 我一直在尝试为表的每一行(3000万+行)生成唯一的ID.
必须有一种简单的方法来生成行ID,我想知道有没有人有解决方案.
我正在寻找实现一个生产者多个消费者多线程应用程序的最佳方案.目前我正在使用一个队列来共享缓冲区,但它比一个生产者一个消费者的情况要慢得多.我打算这样做:
Queue<item>[] buffs = new Queue<item>[N];
object[] _locks = new object[N];
static void Produce()
{
int curIndex = 0;
while(true)
{
// Produce item;
lock(_locks[curIndex])
{
buffs[curIndex].Enqueue(curItem);
Monitor.Pulse(_locks[curIndex]);
}
curIndex = (curIndex+1)%N;
}
}
static void Consume(int myIndex)
{
item curItem;
while(true)
{
lock(_locks[myIndex])
{
while(buffs[myIndex].Count == 0)
Monitor.Wait(_locks[myIndex]);
curItem = buffs[myIndex].Dequeue();
}
// Consume item;
}
}
static void main()
{
int N = 100;
Thread[] consumers = new Thread[N];
for(int i = 0; i < N; i++)
{ …Run Code Online (Sandbox Code Playgroud) 我试图在Hadoop 2.2.0集群上运行wordcount示例.由于此异常,许多地图都失败了:
2014-01-07 05:07:12,544 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.net.ConnectException: Call From slave2-machine/127.0.1.1 to slave2-machine:49222 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
at org.apache.hadoop.ipc.Client.call(Client.java:1351)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:231)
at com.sun.proxy.$Proxy6.getTask(Unknown Source)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:133)
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:708)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:493)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:547)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:642)
at org.apache.hadoop.ipc.Client$Connection.access$2600(Client.java:314)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1399)
at org.apache.hadoop.ipc.Client.call(Client.java:1318)
... …Run Code Online (Sandbox Code Playgroud) 两个单独创建的可变列表具有不同的 ID。
Python外壳:(可变)
>>> mylist = ['spam', 'eggs']
>>> yourlist = ['spam', 'eggs']
>>> id(mylist), id(yourlist)
(49624456, 48910408)
Run Code Online (Sandbox Code Playgroud)
虽然两个单独创建的不可变字符串具有相似的 id。
Python外壳:(不可变)
>>> a = 10
>>> b = 10
>>> id(a), id(b)
(507099072, 507099072)
Run Code Online (Sandbox Code Playgroud)
是a和b引用同一个对象?如果不是,为什么 id 是相似的?是mylist和yourlist引用不同的对象吗?如果是,为什么他们有不同的 id。
我正在尝试使用GeoCoordinate.Net Framework 4.5支持.我正在研究winodws 8,我有.Net Framework 4.5,但我一直在收到The type or namespace name 'Device' does not exist in the namespace 'System'错误.
有解决方案吗
我是菜鸟,所以我希望这是问这个问题的正确地方。这真让我发疯。我正在某些文本文件中寻找句子,这是部分代码:
SentenceIMLookingfor='blha blha blah'
with open('textfile.lua','r') as my_file:
raw_dadat=my_file.read().split('\n')
for i in range(1, len(raw_dadat)):
if(raw_dadat[i]==SentenceIMLookingfor):
DO_SOMETHING
Run Code Online (Sandbox Code Playgroud)
好吧,它什么也没做。(而且我需要知道“ SentenceIMLookingfor”在哪一行)。我已经检查了ID(ofc它们是不同的,所以如果我使用“ is”而不是“ ==”,则将无法使用)。另外,我确定该句子在我的文本文件中,甚至存储在raw_data [210]中。我检查了“类型”,它是str。句子中也有大约3个空格,我不知道这是否有帮助,并且“ len(raw_dadat)”或多或少等于4000。那么我看不出我在做什么错。在此先多谢!!
我正在开发一个创建永久链接的应用程序.我不确定如何在MondoDB中保存文档.两种策略:
ObjectId自动生成
MongoDB自动生成_id.我需要在该permalink字段上创建索引,因为我通过固定链接获取信息.我也可以使用该getTimestamp()方法访问ObjectId的创建时间,因此datetime字段似乎是多余的,但是如果我删除这个字段,我需要两次调用MongoDB来获取信息而另一次调用时间戳.
{
"_id": ObjectId("5210a64f846cb004b5000001"),
"permalink": "ca8W7mc0ZUx43bxTuSGN",
"data": "a lot of stuff",
"datetime": ISODate("2013-08-18T11:47:43.460+-100")
}
Run Code Online (Sandbox Code Playgroud)生成_id
我_id用永久链接生成了.
{
"_id": "ca8W7mc0ZUx43bxTuSGN",
"data": "a lot of stuff",
"datetime": ISODate("2013-08-18T11:47:43.460+-100")
}
Run Code Online (Sandbox Code Playgroud)我没有看到使用ObjectIds的任何好处.我错过了什么吗?
identifier ×4
python ×3
c# ×2
hadoop ×2
java ×2
android ×1
concept ×1
hadoop-yarn ×1
hash ×1
hive ×1
imageview ×1
immutability ×1
java-8 ×1
lambda ×1
mapreduce ×1
mongodb ×1
mutability ×1
namespaces ×1
numpy ×1
permalinks ×1
resources ×1
spark-java ×1
string ×1
tensor ×1
tensorflow ×1
viewflipper ×1