小编Sau*_*abh的帖子

Spark Streaming:微博排队等候

试图使用pyspark做一个示例窗口函数.

conf = (SparkConf()
     .setMaster("local[2]")
     .setAppName("PythonStreamingKafka")
     )

sc = SparkContext(conf = conf)
ssc = StreamingContext(sc, 5)
input_stream = KafkaUtils.createDirectStream(ssc, [thing_topic], {"metadata.broker.list": brokers})

messages = input_stream.map(lambda x: x[1]).window(10,5)
messages.foreachRDD(windowMetrics)

def windowMetrics(rdd):
     print ("Window RDD size:", rdd.count())
Run Code Online (Sandbox Code Playgroud)

从Kafka接收数据.一旦执行开始,正如您在下面的Spark GUI中看到的那样,只执行一个批处理,所有其他批处理都进入队列.实际上窗口内没有进行任何处理,因为kafka没有提供任何处理数据(InputSize = 0).

SaprkGUI

如果不使用窗口操作,它的工作完全正常.代码如下.

 messages = input_stream.map(lambda x: x[1])
 messages.foreachRDD(windowMetrics)
Run Code Online (Sandbox Code Playgroud)

尝试了一些谷歌搜索并找到了一些相关内容,但没有一个具有相同的问题.

Spark Streaming:排长队/活跃批次

这里的中间批次排队等候.

https://forums.databricks.com/questions/1276/kafka-direct-api-from-spark-streaming-what-happens.html

这里讨论了背压.由于没有提供数据,希望不会有任何背压.

apache-spark spark-streaming pyspark

6
推荐指数
0
解决办法
1009
查看次数

在.vue文件中使用Vue.set()和Vue.use()

如何在.vue文件中使用Vue.set()和Vue.use()?我正在使用vue-cli来构建我的项目,我需要使用Vue.use(VeeValidate)进行验证.此外,我想在这里找到类似下面的内容.

Vue.set(example1.items, indexOfItem, newValue)
Run Code Online (Sandbox Code Playgroud)

由于.vue文件导出对象,如何获取Vue引用.另外我想在.vue文件中导出的默认对象中使用它.我的意思是我需要对我的数据函数中的项目使用Vue.set().

vue.js vuejs2

6
推荐指数
2
解决办法
1万
查看次数

VueJS:如何在滚动位置后动态更改CSS类

我正在使用vueJs和bootstrap创建一个webapp .我想在特定数量的滚动之后更改元素的CSS类,是否有一些vue方式.

我想要以下内容:

<div :class="{classA: scrollPosition < 100, classB: scrollPosition > 100}">
</div>
Run Code Online (Sandbox Code Playgroud)

我找到的一个选项是使用vue-scroll,这看起来很有希望但不起作用.

还有其他一些原生的方式来实现同样的目标吗?

html css twitter-bootstrap vue.js

6
推荐指数
1
解决办法
9002
查看次数

FCM HTTP API响应延迟突然增加

我看到过去4天FCM HTTP API 的响应时间(达到API并获得200 OK响应所需的时间)突然激增。还有其他人也目睹过吗?

我正在命中端点https://fcm.googleapis.com/fcm/send以发送推送通知。响应时间峰值仅持续几分钟。早些时候,平均一天的响应时间大约为200毫秒,而在最近的高峰期间,响应时间达到5秒钟,然后平均降低到200毫秒。

API响应时间数天的指标图:

在此处输入图片说明

今天的API响应时间的指标图:

在此处输入图片说明

android firebase firebase-cloud-messaging

6
推荐指数
0
解决办法
181
查看次数

透明菜单/导航栏

我无法解决css问题.

我有一个应该透明的导航栏.但由于opacity属性,它上面的链接也变得透明,因为它们是透明导航栏的子元素.

你可以帮我解决这个问题吗?

css css3

5
推荐指数
2
解决办法
8万
查看次数

如何使用rbhive gem和查询配置单元

我有一个任务要从红宝石代码在蜂巢数据库中查询。我打算使用rbhive gem,但是从它的文档中,我无法获得在连接到hive服务器时如何传递用户名,密码,数据库名称等的信息。

这是我的代码:

res = RBHive.connect('host_address', 10_000) do |connection|
  connection.fetch 'show databases;'
end
Run Code Online (Sandbox Code Playgroud)

它只是显示:

Connecting to host_server on port 10000
Executing Hive Query: show databases;
Run Code Online (Sandbox Code Playgroud)

它无限期地挂在那里。

ruby hadoop hive ruby-on-rails rbhive

5
推荐指数
1
解决办法
949
查看次数

Laravel Echo重复播放n次广播的事件

问题标题可能有点混乱,我尽力解释它.

我有laravel-echo-server,redis(排队),并Laravel echo设置.我想要的只是通过输入发送消息,并为页面上的每个人更新消息提要; 本质上是一个聊天室.

一切都有效,除了地狱的速度很慢,但我是新手Laravel EchoVue.

如果我发送了一条消息,那很好,但是当我发送另一条消息时,我会收到两条消息.发送第三条消息三个响应等等......

我究竟做错了什么?我已经检查socket.io/ laravel-echo-server只连接到通道一次,而我broadcast只被发送一次(检查队列工作者它只处理请求),那么它是如何以指数方式重复的?

这是我的app.js:

const chatWindow = new Vue({
    el: '#chatWindow',
    data: {
        messages: []
    },
    methods: {
        sendMessage: function () {
            this.$http.post('/chat', {message: this.message}).then((response) => {
                window.Echo.channel('test-chat-channel')
                    .listen('MessageSent', (event) => {
                        console.log(event.message);
                        // this.messages.push(event.message);
                    });
            }, (response) => {
                // error callback
            });

            this.message = '';
        }
    },
    props: ['message']
});
Run Code Online (Sandbox Code Playgroud)

这是我的聊天视图:

<div id="chatWindow" …
Run Code Online (Sandbox Code Playgroud)

redis socket.io laravel vue.js

5
推荐指数
2
解决办法
1064
查看次数

将引导程序与 vue webapp 一起使用:如何自定义

我在我的 Vue webapp 中使用了bootstrap-4,但我无法按照这里的解释进行自定义。

我有使用Bootstrap CDN 的index.html,如下所示:

<!DOCTYPE html>
<html lang="en">
  <head>
    <meta charset="utf-8">
    <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
    <meta http-equiv="x-ua-compatible" content="ie=edge">

    <title>Sample</title>
    <meta name="viewport" content="initial-scale=1, maximum-scale=1, user-scalable=no, minimal-ui">

    <link rel="stylesheet" href="/static/custom.scss" type="text/x-scss">  ==> where I am overwriting variable
    <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0-alpha.5/css/bootstrap.min.css" integrity="sha384-AysaV+vQoT3kOAXZkl02PThvDr8HYKPZhNT5h/CXfBThSRXQ6jW5DO2ekP5ViFdi" crossorigin="anonymous">

    <script src="//cdnjs.cloudflare.com/ajax/libs/jquery/3.1.1/jquery.js"></script>
    <script src="https://cdnjs.cloudflare.com/ajax/libs/tether/1.3.7/js/tether.min.js" integrity="sha384-XTs3FgkjiBgo8qjEjBk0tGmf3wPrWtA6coPfQDfFEY8AnYJwjalXCiosYRBIBZX8" crossorigin="anonymous"></script>
    <script src="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0-alpha.5/js/bootstrap.min.js" integrity="sha384-BLiI7JTZm+JWlgKa0M0kGRpJbF2J8q+qreVrKBC47e3K6BW78kGLrCkeRX6I9RoK" crossorigin="anonymous"></script>
  </head>
  <body>
    <div id="app"></div>

    <script src="/dist/client-vendor-bundle.js"></script>
    <script src="/dist/client-bundle.js"></script> -->
  </body>
</html>
Run Code Online (Sandbox Code Playgroud)

我也试过改变的顺序custom.scss,并bootstrap.cssindex.html的为好。

以下是 …

css twitter-bootstrap vue.js twitter-bootstrap-4 bootstrap-4

5
推荐指数
1
解决办法
3670
查看次数

用中文输入问题计算的vue 2触发器

我正在使用vue2来挖掘我的项目.

我发现只有当我们将keyup/keydown中文输入到一个单词时,才会触发计算属性.

(例如:??? => ?当格式化为单词时,它只会触发1次而不是3次)

它不像纯粹的javascript事件.那是对的吗 !?

javascript keyevent vue.js

5
推荐指数
1
解决办法
534
查看次数

Vue.js中的一个全局数据结构

我正在使用Vue.js构建单页应用程序.这是一个相对简单的应用程序,更像是一个扩展的,固定的电子表格.我正在使用vue-router处理应用程序的不同视图,一些用于输入新数据,一些用于执行数据计算但所有数据交织在一起(在视图#1中输入的数据用于在视图中输入数据# 2然后两者都用于计算视图#3中的内容.

这意味着我需要一个全局数据结构.根据我的研究,我发现我有几种方法可以解决这个问题:

  • "正确"的方式:在组件中发出事件并在父母中处理它们; 对于我想要达到的目标而言,这似乎有点过于复杂
  • 通过直接在组件模板中访问父作用域 $parent.$data
  • 我当前的解决方案,将父数据引用分配给子数据对象

像这样:

const REPORTS = {
  template: templates.reports,
  data: function(){
    return this.$parent.$data
  }
};
Run Code Online (Sandbox Code Playgroud)

但是,我的第六感觉告诉我,这不是一个好习惯.

如果我是对的,有什么更好的方法来实现这一目标:一,全球数据结构,可以从所有组件访问?

javascript vue.js vue-component

5
推荐指数
1
解决办法
2313
查看次数