小编vce*_*ick的帖子

我有多个要并行执行的作业,它们使用分区将每日数据附加到同一路径中.

例如

dataFrame.write().
         partitionBy("eventDate", "category")
            .mode(Append)
            .parquet("s3://bucket/save/path");

工作1 - category ="billing_events"工作2 - category ="click_events"

这两个作业都将在执行之前截断s3存储桶中存在的任何现有分区,然后将生成的镶木地板文件保存到各自的分区.

即

作业1 - > s3:// bucket/save/path/eventDate = 20160101/channel = billing_events

job 2 - > s3:// bucket/save/path/eventDate = 20160101/channel = click_events

我面临的问题是在作业执行期间由spark创建的临时文件.它将处理文件保存到基本路径

S3://桶/保存/路/ _temporary/...

因此两个作业最终共享相同的临时文件夹并导致冲突,我注意到这可能导致一个作业删除临时文件,而另一个作业失败,来自s3的404表示预期的临时文件不存在.

有没有人遇到过这个问题,并提出了在同一个基本路径中并行执行作业的策略？

我现在使用spark 1.6.0

我正在玩Symfony2和Im abit不确定Symfony2如何在View组件中处理Polymorphic集合.看来我可以创建一个包含AbstractChildren集合的实体,但不知道如何在Form Type类中使用它.

例如,我有以下实体关系.

/**
 * @ORM\Entity
 */
class Order
{
    /**
     * @ORM\OneToMany(targetEntity="AbstractOrderItem", mappedBy="order", cascade={"all"}, orphanRemoval=true)
     * 
     * @var AbstractOrderItem $items;
     */
    $orderItems;  
    ...
}


/**
 * Base class for order items to be added to an Order
 *
 * @ORM\Entity
 * @ORM\InheritanceType("JOINED")
 * @ORM\DiscriminatorColumn(name="discr", type="string")
 * @ORM\DiscriminatorMap({
 *     "ProductOrderItem" = "ProductOrderItem",
 *     "SubscriptionOrderItem " = "SubscriptionOrderItem "
 * })
 */
class AbstractOrderItem
{
    $id;
    ...
}

/**
 * @ORM\Entity
 */
class ProductOrderItem  extends AbstractOrderItem
{
    $productName;
}

/** …

我试图了解CDI和EJB以及实体边界控制(ECB)模式.我对ECB模式的理解是边界是事务边界的起点和终点.除此之外,CDI不像EJB那样提供事务支持.

因此,如果我想成功实现ECB模式,那么以下是正确的;

1. 我可以使用EJB(即@stateless,@ stateful,@ sortton)实现Boundary部分,使用CDI或EJB实现Control层.
2. 我可以使用CDI实现边界和控制部分,但在边界中实现事务支持类似于(http://smokeandice.blogspot.com/2009/12/cdi-and-declarative-transactions.html)
3. 我不能用CDI实现Boundary,然后在Control层中开始使用EJB.

谢谢

我们正在使用apache zeppelin来分析我们的数据集.我们有一些疑问,我们想运行有大量来自他们回来,并想运行飞艇查询,但结果保存(显示被限制在1000)的结果.是否有一种简单的方法可以让zeppelin将查询的所有结果保存到s3存储桶中？

我正在设计一项新服务,使"客户"能够为他们执行的特定搜索注册并支付每次使用费.将使用RESTFul和SOAP接口公开此服务.通常,Web服务将与客户的网站集成,然后暴露给"公共",任何人都可以使用客户的网站,并利用我的Web服务功能(客户将支付但完全控制调节)请求所以他们不会收取太多费用).

我想设计优化集成的服务,使其尽可能简单.Web服务API将发生变化,因此创建内部代理以在某些情况下向公众公开Web服务对客户来说太过贬低.因此,我认为这个问题是创建一个平衡身份验证,安全性和集成的Web服务.

理想

1. 不使用OAuth
2. 避免强迫客户创建内部代理,以重新公开我已经使用的相同Web服务API.
3. 安全(令牌用户名/传递任何和ssl)
4. 在客户网站中嵌入一个javascript库 - 这将是一个客户端Javascript库,使集成步骤更容易.
5. Javascript库需要足够安全,以便公众无法简单地获取凭据并自行重新使用它
6. 如果可能的话,不要太苛刻,因此如果Firefox 87出现(将在几分钟内发布)并决定fubar它,则不必重新构建Web服务.

这似乎需要一些3方式身份验证过程才能工作,即验证特定客户端(在公共场合),Web服务(客户)和Web服务.

有没有人实现类似的东西,他们是如何解决这种情况的？

我也理解在可以做什么和违反跨域安全性之间存在平衡,因此整个Web服务可能会被另一个仅返回JSONP数据的GET接口暴露.

/**附录**/

我已经发现了一个可以完成我正在照顾的Web服务.但是,我不完全了解实施细节.所以也许有人也可以详细说明我的想法.

我发现的Web服务似乎在服务端托管了Javascript.然后,客户将其网站与服务端集成,方法是将Javascript包含在脚本标记中,但提供密钥即可

不知何故,如果我将脚本添加到我的网站,它不起作用.所以,在某个地方,令牌必须注册到特定的客户域,而'client-lib.js'实际上是一个servlet或类似的东西,它可以某种方式检测到来自'public'的用户实际上来自'客户'域名.

我的想法是对的吗？是否有某种http标头可以这种方式使用？这样安全吗？

干杯

过去几天，我一直在评估 Airflow 作为我们 ETL 工作流程的可能替代工具，并发现在 Airflow 中重命名 DAG 时出现了一些有趣的行为。

如果我在名为hello_world.py的文件中有一个 dag

dag = DAG('hello_world', description='Simple DAG',
          schedule_interval='0 12 * * *',
          start_date=datetime(2017, 11, 1), catchup=True)

dag = DAG('yet_another_hello_world', description='Simple DAG',
          schedule_interval='0 12 * * *',
          start_date=datetime(2017, 11, 1), catchup=True)