小编Wei*_*Lin的帖子

从字面上看，IPython-Notebook是笔记本。我尝试将其用作笔记本。

那么，有什么方法可以在我编写的ipynb集合中搜索关键字或更复杂的搜索吗？就像Evernote允许您对笔记进行更复杂的搜索一样。

用于Spark中的SQL查询。

为了阅读，我们可以通过以下方式读取jdbc

CREATE TEMPORARY TABLE jdbcTable
USING org.apache.spark.sql.jdbc
OPTIONS dbtable ...;

对于写操作，使用SQL将数据写到远程JDBC表的查询是什么？

注意：我希望它是SQL查询。 plz提供使用SparkSQL的HiveContext.sql（...）时可以写入jdbc的纯“ SQL查询”。

我有一个 Python 程序，它封装了应用程序的业务逻辑。一个例子：

$ app pets list
[{
 "name": "Hasso",
 "age": 21
},{
 "name": "Lassy",
 "age": 15
 }]

现在我想用Swagger.io实现一个 REST API 。YAML 的摘录如下所示：

 summary: Gets all dogs 
  produces:
  - application/json
  responses:
    200:
      description: array of dogs
      schema:
        type: array
        items:
        $ref: '#/definitions/Dog'

Swagger-codgen 使用 Flask & connexion生成 python 代码并提供以下目录结构：

??? python-flask
    ??? swagger_server
        ??? controllers
        ??? models
        ??? __pycache__
        ??? swagger
        ??? test

-目录中有所有使用的对象类型的类models。

我想将 API-App 和 BL-App（业务应用程序）分开，但为了方便起见使用相同的模型。

将这些模型定义之间的模型定义共享给应用程序的最佳方式是什么？我还将这个 BL-App 导入 API-Project 以实现controllers-part。

我创建集群Google Kubernetes Engine与Cluster Autoscaler启用选项。
我想配置缩放行为，例如--scale-down-delay-after-delete根据https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/FAQ.md。

但是我没有在集群自动缩放器的kube系统上找到Pod或Deployment。

有人有主意吗？

编辑：我不是说Horizontal Pod Autoscaler。

我希望我可以像这样配置它：

$ gcloud container clusters update cluster-1 --enable-autoscaling --scan-interval=5 --scale-down-unneeded-time=3m
ERROR: (gcloud.container.clusters.update) unrecognized arguments:
  --scan-interval=5
  --scale-down-unneeded-time=3m

任何人都知道regionserver队列大小是什么意思？

根据doc的定义:

9.2.5.hbase.regionserver.compactionQueueSize压缩队列的大小.这是该区域中已实现压缩的商店数量.

这是区域服务器的Store(或商店文件？我听过它的两个版本)需要主要压缩的数量.

我有一个使用顺序密钥(非分布式)以热点样式编写数据的工作.我在公制历史中看到发现它一次发生了一个compaction-queue-size = 4.这在理论上是不可能的,因为我在任何时候都只有一个Store(顺序键).

然后我深入了解日志,发现有任何关于队列大小> 0的提示:每个主要的压缩说 "这个选择在队列中0秒"

013-11-26 12:28:00,778 INFO [regionserver60020-smallCompactions-1385440028938] regionserver.HStore:完成了myTable.key.md5 ....的f1中3个文件的主要压缩到md5 ....( size = 607.8 M),存储的总大小为645.8 M. 此选择在队列中持续0秒,并执行了39秒.

更令人困惑的是:在早期版本中是不是启用了多线程,只是将每个压缩作业分配给一个线程,这就是为什么存在压缩队列？

太糟糕了,hbase doc中没有详细说明.

wiki Contravariant_method_argument_type表示重写方法将子类型规则作为函数类型,但除了一个支持逆变量参数类型外没有其他语言.我也无法想出使用它的任何好处.

例:

class AnimalShelter {
    Animal getAnimalForAdoption() {      ...        }         
    void putAnimal(Animal animal) {      ...        }   
}

class CatShelter extends AnimalShelter {
    ?Overriding        
    Cat getAnimalForAdoption() {  return new Cat();    }        
    ?Overriding                    
    void putAnimal(Object animal) {      …        }     
}

我的问题是:

1. 反变方法的逆变参数类型是否有用？如果是的话,它在哪里？
2. 方法是一个功能吗？为什么Scala对函数类型和覆盖方法类型有不同的规则？

这是一个简单的问题。

为什么与Int有关的方法没有驻留在Int？
相反，Scala费心将相关方法放入RichInt并依赖隐式转换，以使它们像的方法一样工作Int。

何必？

代码解释了自己.

val s = Seq(1,1,1)
val res: Seq[Int] = s.map(...)
                     .check(count how many 1s, if > 2 throw Exception)
                     .map(...)

我正在寻找这个check功能的简单解决方案.

• 我可以使用map和closure计数和投掷,但我想要纯粹的功能.
• 我可以使用filter和size或reduce,但它返回一个值,不能用以下地图恢复.

如何做一个纯粹的和有状态的检查,管管道？

在airflow.models.BaseOperator中。您有两个默认参数：

depends_on_past=False 和 trigger_rule=u'all_success'

根据文档

depends_on_past（布尔）–设置为true时，任务实例将顺序运行，同时依赖于上一个任务的时间表来成功。

trigger_rule（str）–定义规则，通过该规则将依赖关系应用于要触发的任务。

难道不是同一回事吗？我不明白为什么有多余的参数。

使用类型类而不是继承有什么意义？

Monad这是一个通过上下文绑定使用类型类的函数：

def f[A : Monad](x:A) = ??? 

（是的，我们现在有了 flatMap 方法）

然而，这使用了带有子类型绑定的继承：

def f[A <: Monad](x:A) = ???  
f(x) // where x is a CatsList which implements Monad trait.

（我们现在还获得了 flatMap 方法。）

难道两者没有达到同样的目的吗？