在java中使用map函数时,我可以执行以下操作:
import com.example.MyClass;
someStream.map(MyClass::myStaticMethod)
Run Code Online (Sandbox Code Playgroud)
但是在我的项目中我们有时会使用静态导入,当导入是静态的时候如何引用myStaticMethod呢?
我认为这会起作用,但它不会:
import static com.example.MyClass.myStaticMethod;
someStream.map(myStaticMethod); //does not compile
Run Code Online (Sandbox Code Playgroud)
为什么这不起作用?我是否仍然坚持使用第一个例子或是否有其他解决方案.
我们正在处理从apache hbase迁移到bigquery的过程.
目前我们有端到端测试(使用黄瓜),它与运行hbase的docker容器一起使用.
似乎没有任何大型的docker容器或模拟器(https://cloud.google.com/sdk/gcloud/reference/beta/emulators/)
我们如何能够为使用bigquery的应用程序创建端到端测试?
java continuous-integration integration-testing google-bigquery
我有一个带有深入钻取模块的图表,它工作正常。在某些时候,我想用一组新数据更新图表。我用
chart.options.drilldown.series = drilldownSeries;
//This forces the chart to go back to level one
chart.series[0].setData(brandsData);
Run Code Online (Sandbox Code Playgroud)
并使用更新后的数据给出了很好的动画。但是,当我被“向下钻取”并使用setData时,图表会回到第一级,就好像我没有被向下钻取一样。
请参阅:http://jsfiddle.net/n0y4vu24/1/
第一:按更新数据-您会看到第一个栏移动到20,这很好。再次运行jsfiddle,但是在按更新数据之前,请单击第一栏。现在,当您按更新数据时,它将返回到“品牌”图表,不再停留并更新向下钻取图表
有没有办法保持当前图表/向下钻取的当前水平?
我想在kubernetes上运行一个flink作业,使用(持久)状态后端,看来崩溃的任务管理器似乎没有问题,因为如果我理解正确的话,他们可以询问作业管理器他们需要从哪个检查点恢复。
崩溃的工作经理似乎更加困难。在这个翻转的6页上,我阅读了Zookeeper,以便能够知道工作经理需要使用哪些检查点进行恢复和领导选举。
看到kubernetes会在崩溃时重新启动jobmanager,是否有办法让新的jobmanager恢复作业而不需要设置Zookeeper集群?
我们正在查看的当前解决方案是:当kubernetes想杀死jobmanager时(例如,因为它想将其移动到另一个vm),然后创建一个保存点,但这仅适用于正常关机。
编辑:http : //apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-HA-with-Kubernetes-without-Zookeeper-td15033.html似乎很有趣,但没有关注-上
查看tensorflow页面:https://github.com/tensorflow/models/tree/master/inception
他们展示了其架构的图像,特别是其“inception”模块,其中并行包含:
接下来是“concat”层。
我怎样才能在张量流中创建这个?
我想我可以按照这个思路做一些事情来创建并行操作:
start_layer = input_data
filter = tf.Variable(tf.truncated_normal([1,1,channels,filter_count], stddev=0.1)
one_by_one = tf.nn.conv2d(start_layer, filter, strides=[1,1,1,1], padding='SAME')
filter = tf.Variable(tf.truncated_normal([3,3,channels,filter_count], stddev=0.1)
three_by_three = tf.nn.conv2d(start_layer, filter, strides=[1,1,1,1], padding='SAME')
filter = tf.Variable(tf.truncated_normal([5,5,channels,filter_count], stddev=0.1)
five_by_five = tf.nn.conv2d(start_layer, filter, strides=[1,1,1,1], padding='SAME')
filter = tf.Variable(tf.truncated_normal([1,1,channels,filter_count], stddev=0.1)
pooling = tf.nn.avg_pool(start_layer, filter, strides=[1,2,2,1], padding='SAME')
filter = tf.Variable(tf.truncated_normal([1,1,channels,filter_count], stddev=0.1)
pooling = tf.nn.conv2d(pooling, filter, strides=[1,1,1,1], padding='SAME')
#connect one_by_one, three_by_three, five_by_five, pooling into an concat layer
Run Code Online (Sandbox Code Playgroud)
但是如何将这 …
我在批处理中使用 apache flink 一段时间了,但现在我们想将此批处理作业转换为流作业。我遇到的问题是如何运行端到端测试。
它如何在批处理作业中工作
使用批处理时,我们使用 Cucumber 创建端到端测试。
流作业中的问题
我们希望对流作业执行类似的操作,但流作业并未真正完成。
所以:
我们可以在每次测试后等待 5 秒,并假设所有内容都已处理完毕,但这会大大减慢一切速度。
问题:
有哪些方法或最佳实践可以在流式 Flink 作业上运行端到端测试,而不会在 x 秒后强制终止 Flink 作业
integration-testing end-to-end data-stream apache-flink flink-streaming
我试图通过移动ajax调用来加速我的一些网站
情况如下:
我有一个页面,里面有一些画布+其他数据.
请求页面时,会加载"其他数据".在$(document).ready(); 我有一个获取画布数据的函数.这是使用ajax完成的.
我想知道我是否可以在$(document).ready()之前进行ajax调用,但是只有当dom准备好时才能成功调用ajax(即呈现画布).
所以:
$(document).ready(function(){
$.ajax({
url: '/someurl'
dataType: 'json',
success: function(response){
startDrawOnCanvas(stage, response.data);
}
});
}
Run Code Online (Sandbox Code Playgroud)
这有效,但我喜欢这样的东西
$(document).ready(function(){
}
$.ajax({
url: '/someurl'
dataType: 'json',
success: function(response){
//only fire once dom is ready for it
startDrawOnCanvas(stage, response.data);
}
});
Run Code Online (Sandbox Code Playgroud) 我在编写符号时混淆纯函数和monadic函数时遇到了麻烦.我有一种感觉,我错过了一些明显的东西.
例如,假设我有这些功能
fa :: a -> IO b
fb :: b -> c
fc :: c -> IO d
z :: a -> IO c
z a = do x <- fa a
y <- fb x
z <- fc y
return z
Run Code Online (Sandbox Code Playgroud)
这不起作用,因为
y <- fb x
Run Code Online (Sandbox Code Playgroud)
在z中行,但是将纯fb函数与monadic fa和fc函数结合起来的优雅方法是什么?
我们有一个数据流,其中每个元素都是这种类型:
id: String
type: Type
amount: Integer
Run Code Online (Sandbox Code Playgroud)
amount我们想要聚合这个流并输出每周一次的总和。
目前的解决方案:
Flink 管道示例如下所示:
stream.keyBy(type)
.window(TumblingProcessingTimeWindows.of(Time.days(7)))
.reduce(sumAmount())
.addSink(someOutput())
Run Code Online (Sandbox Code Playgroud)
用于输入
| id | type | amount |
| 1 | CAT | 10 |
| 2 | DOG | 20 |
| 3 | CAT | 5 |
| 4 | DOG | 15 |
| 5 | DOG | 50 |
Run Code Online (Sandbox Code Playgroud)
如果窗口在记录之间结束3,4我们的输出将是:
| TYPE | sumAmount |
| CAT | 15 | (id 1 and id 3 added …Run Code Online (Sandbox Code Playgroud) 我们正在使用 Apache Flink(1.4.2) 进行批处理,出于性能原因,我们希望在输出之前对 100 个项目进行分组,而不是直接输出每个项目。
如果我们要使用 DataStream API,我们将能够使用诸如翻滚窗口之类的东西(https://ci.apache.org/projects/flink/flink-docs-release-1.5/dev/stream/operators/windows.html #翻滚窗口)
但这在进行批处理时不可用。
是否可以使用 DataSet Api 或许通过某些 group/reduce 函数来做到这一点?
我正在buildbot和phantomjs的帮助下实现代码.
这一切都很好,buildbot在提交时会激活代码,并且我在后台运行了phantomjs,接受来自de WebDriver的codeception连接.
然而问题是phantomjs正在保存cookie,所以我的第一个登录测试总是失败,因为用户已经登录了.
在每次测试运行后,如何让phantomjs重置它的cookie?
我尝试重新启动phantomjs,这解决了问题,但我不知道如何使用buildbot.此外,对于这个特定的问题,它似乎有些过分.
apache-flink ×4
java ×2
javascript ×2
jquery ×2
ajax ×1
buildbot ×1
codeception ×1
coding-style ×1
data-stream ×1
do-notation ×1
dom ×1
drilldown ×1
end-to-end ×1
haskell ×1
highcharts ×1
java-8 ×1
kubernetes ×1
lambda ×1
phantomjs ×1
python ×1
tensorflow ×1