小编arc*_*zee的帖子

熊猫-按不在索引中的索引

谷歌搜索了一下,似乎找不到任何东西。

是否可以使用“非索引”访问熊猫数据框中的数据?所以像

df_index = asdf = pandas.MultiIndex(levels=[
['2014-10-19', '2014-10-20', '2014-10-21', '2014-10-22', '2014-10-30'],
[u'after_work', u'all_day', u'breakfast', u'lunch', u'mid_evening']],
labels=[[0, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 4, 4, 4, 4],
[4, 0, 1, 2, 3, 4, 0, 1, 2, 3, 4, 2, 0, 1, 3, 4]],
names=[u'start_date', u'time_group'])
Run Code Online (Sandbox Code Playgroud)

然后,我希望能够致电以下内容以获取所有内容 df_index

df.ix[~df_index]
Run Code Online (Sandbox Code Playgroud)

我知道您可以在熊猫内进行逻辑索引。只是好奇我是否可以使用索引对象

indexing pandas

5
推荐指数
1
解决办法
3889
查看次数

使用Kafka进行数据集成以及更新和删除

所以有一点背景 - 我们有大量的数据源,从RDBMS到S3文件.我们希望将这些数据与其他各种数据仓库,数据库等同步和集成.

起初,这似乎是卡夫卡的典型模式.我们希望通过Kafka将数据更改流式传输到数据输出源.在我们的测试案例中,我们使用Oracle Golden Gate捕获更改并成功将更改推送到Kafka队列.但是,将这些更改推送到数据输出源已经证明具有挑战性.

我意识到如果我们只是向Kafka主题和队列添加新数据,这将非常有效.我们可以缓存更改并将更改写入各种数据输出源.然而,这种情况并非如此.我们将更新,删除,修改分区等.处理此问题的逻辑似乎要复杂得多.

我们尝试使用登台表和连接来更新/删除数据,但我觉得这会很快变得非常笨拙.

这就是我的问题 - 我们可以采取哪些不同的方法来处理这些操作?或者我们应该完全朝着不同的方向前进?

任何建议/帮助非常感谢.谢谢!

data-integration data-synchronization apache-kafka

5
推荐指数
1
解决办法
1575
查看次数

Scala Akka HTTP转换参数为java.time.ZonedDateTime

我正在使用Akka HTTP(在Scala中)开发REST服务.我想要一个传递给http get请求的参数转换为ZonedDateTime类型.如果我尝试使用String或Int但是使用ZonedDateTime类型失败,代码工作正常.代码看起来像这样:

parameters('testparam.as[ZonedDateTime])
Run Code Online (Sandbox Code Playgroud)

这是我看到的错误:

Error:(23, 35) type mismatch;
 found   : akka.http.scaladsl.common.NameReceptacle[java.time.ZonedDateTime]
 required: akka.http.scaladsl.server.directives.ParameterDirectives.ParamMagnet
          parameters('testparam.as[ZonedDateTime]){
Run Code Online (Sandbox Code Playgroud)

如果我向列表添加多个参数,我会得到一个不同的错误:

Error:(23, 21) too many arguments for method parameters: (pdm: akka.http.scaladsl.server.directives.ParameterDirectives.ParamMagnet)pdm.Out
          parameters('testparam.as[ZonedDateTime], 'testp2){
Run Code Online (Sandbox Code Playgroud)

我发现这个文档中,当我研究这个问题http://doc.akka.io/japi/akka-stream-and-http-experimental/2.0/akka/http/scaladsl/server/directives/ParameterDirectives.html和我尝试了import akka.http.scaladsl.server.directives.ParameterDirectives.ParamMagnet使用Scala 2.11 添加的解决方法,但问题仍然存在.

有人可以解释一下我做错了什么以及为什么ZonedDateTime类型不起作用?提前致谢!

这是一个代码片段,应该重现我所看到的问题

import java.time.ZonedDateTime

import akka.actor.ActorSystem
import akka.http.scaladsl.Http
import akka.http.scaladsl.model._
import akka.http.scaladsl.server.Directives._
import akka.stream.ActorMaterializer

import scala.io.StdIn


object WebServer {
  def main(args: Array[String]) {

    implicit val system = ActorSystem("my-system")
    implicit val materializer = ActorMaterializer()
    // needed for the future flatMap/onComplete in the end
    implicit val …
Run Code Online (Sandbox Code Playgroud)

scala akka akka-http

1
推荐指数
1
解决办法
706
查看次数