标签: cascading

在shell中,我cleanJar在Impatient/part1目录中输入了gradle .输出如下.错误是" 找不到org.apache.hadoop.mapred.JobConf的类文件 ".为什么编译失败？

:clean UP-TO-DATE
:compileJava
Download http://conjars.org/repo/cascading/cascading-core/2.0.1/cascading-core-2.0.1.pom
Download http://conjars.org/repo/cascading/cascading-hadoop/2.0.1/cascading-hadoop-2.0.1.pom
Download http://conjars.org/repo/riffle/riffle/0.1-dev/riffle-0.1-dev.pom
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.6.1/slf4j-api-1.6.1.pom
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-parent/1.6.1/slf4j-parent-1.6.1.pom
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.pom
Download http://conjars.org/repo/thirdparty/jgrapht-jdk1.6/0.8.1/jgrapht-jdk1.6-0.8.1.pom
Download http://repo1.maven.org/maven2/org/codehaus/janino/janino/2.5.16/janino-2.5.16.pom
Download http://conjars.org/repo/cascading/cascading-core/2.0.1/cascading-core-2.0.1.jar
Download http://conjars.org/repo/cascading/cascading-hadoop/2.0.1/cascading-hadoop-2.0.1.jar
Download http://conjars.org/repo/riffle/riffle/0.1-dev/riffle-0.1-dev.jar
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.6.1/slf4j-api-1.6.1.jar
Download http://repo1.maven.org/maven2/org/slf4j/slf4j-log4j12/1.6.1/slf4j-log4j12-1.6.1.jar
Download http://conjars.org/repo/thirdparty/jgrapht-jdk1.6/0.8.1/jgrapht-jdk1.6-0.8.1.jar
Download http://repo1.maven.org/maven2/org/codehaus/janino/janino/2.5.16/janino-2.5.16.jar
/home/is_admin/lab/cascading/Impatient/part1/src/main/java/impatient/Main.java:50: error: cannot access JobConf
    Tap inTap = new Hfs( new TextDelimited( true, "\t" ), inPath );
                ^
  class file for org.apache.hadoop.mapred.JobConf not found
1 error
:compileJava FAILED

FAILURE: Build failed with an exception.

* What went wrong:
Execution failed for …

假设我有三个名为的下拉列表控件dd1,dd2和dd3.每个下拉列表的值来自数据库.dd3价值取决于价值dd2和dd2价值取决于价值dd1.任何人都可以告诉我如何调用servlet来解决这个问题？

我收到了这个错误

在表'Regions'上引入FOREIGN KEY约束'FK_dbo.Regions_dbo.Countries_CountryId'可能会导致循环或多个级联路径.指定ON DELETE NO ACTION或ON UPDATE NO ACTION,或修改其他FOREIGN KEY约束.无法创建约束.查看以前的错误.

我想知道这是否意味着我的数据库设计不好？我读到你关闭了级联或类似的东西,但我不确定这是否将问题从地毯中扫除.

我只是让EF通过我的域类生成我的表(此时我没有使用任何数据注释或流畅的映射).

       public class Country
        {
            public Country()
            {
                this.Stores = new List<Store>();
                this.Regions = new List<Region>();
                Id = GuidCombGenerator.GenerateComb();
            }

            public Guid Id { get; private set; }

            private string name;

            public string Name
            {
                get { return name; }
                set
                {
                    name = value.Trim();
                }
            }

            private string code;

            public string Code
            {
                get { return code; }
                set
                {
                    code = value.Trim();
                }
            }

            public virtual ICollection<Store> …

我一直在尝试Cascading,但是我看不出有什么优于经典的map reduce方法来编写工作.

Map Reduce工作给了我更多自由,Cascading似乎带来了很多障碍.

可以把简单的事情做成简单但复杂的事情......我发现它们非常难

有什么我想念的东西.Cascading是否有明显优于传统方法的优势？

在什么情况下我应该选择级联经典方法？任何人使用它并且开心吗？

我最近发现了许多选项,并且通过成熟度和稳定性进行比较很有趣.

1. 紧缩 - https://github.com/cloudera/crunch
2. Scrunch - https://github.com/cloudera/crunch/tree/master/scrunch
3. 级联 - http://www.cascading.org/
4. 烫伤 https://github.com/twitter/scalding
5. FlumeJava
6. Scoobi - https://github.com/NICTA/scoobi/

首先,抱歉我的英语不好......

我有四个实体:用户,应用程序,捆绑和实体.以下是他们的关系(级联持续和删除,请参阅下面的代码):

• 用户1-n申请
• 应用1-n捆绑
• 捆绑1-n实体

它工作正常.但是用户可以将他的两个实体作为默认实体,我需要直接访问它们.

所以我添加用户两个字段,entity1和entity2,具有1-1关系.现在我的应用程序崩溃了:

An exception occurred while executing 'DELETE FROM bundle WHERE id = ?' with params {"1":13}:

SQLSTATE[23000]: Integrity constraint violation: 1451 Cannot delete or update a parent row: a foreign key constraint fails (`misc`.`entity`, CONSTRAINT `FK_E284468F1FAD9D3` FOREIGN KEY (`bundle_id`) REFERENCES `bundle` (`id`))

我尝试了几件事,包括在这篇文章中创建的那些,但我无法解决它.

欢迎提出任何帮助,谢谢.

编辑:我需要指出User-> Entity关系是optionnal:User的entity1和entity2可以为null.即使它们都为空,也会发生错误.

这是我的实体定义:

# User :
    /**
     * @ORM\OneToMany(targetEntity="\sfCommands\ContentBundle\Entity\Application", mappedBy="user", cascade={"remove"}, orphanRemoval=true)
     * @ORM\OrderBy({"name" = "ASC"})
     */
    protected $applications; …

我已经克隆了Cascading Pattern项目,安装了 Gradle 2.0 - 运行和推荐

gradle eclipse --stacktrace

我得到以下 - 根本原因是什么？

J-MacBook-Pro:pattern J$ gradle eclipse --stacktrace

FAILURE: Build failed with an exception.

* Where:
Script '/Users/J../Documents/.../pattern/etc/s3Upload.gradle' line: 28

* What went wrong:
A problem occurred evaluating script.
> Could not find method mavenRepo() for arguments [{name=monochromeroad, url=http://conjars.org/repo/}] on repository container.

* Try:
Run with --info or --debug option to get more log output.

* Exception is:
org.gradle.api.GradleScriptException: A problem occurred evaluating script.
    at org.gradle.groovy.scripts.internal.DefaultScriptRunnerFactory$ScriptRunnerImpl.run(DefaultScriptRunnerFactory.java:54)
    at org.gradle.configuration.DefaultScriptPluginFactory$ScriptPluginImpl.apply(DefaultScriptPluginFactory.java:132) …

我有3个级联管道(一个连接其他两个)如下所述,

• LHSPipe - (更大尺寸)

• RHSPipes - (可能适合内存的较小尺寸)

Psuedocode如下,这个例子涉及两个连接

如果 F1DecidingFactor = YES,则 使用RHS Lookup#1 BY加入LHSPipe(LHSPipe.F1Input = RHS Lookup#1.Join #F1)并设置查找结果(SET LHSPipe.F1Output = Result#F1) 否则 SET LHSPipe.F1Output = N /一个

相同的逻辑适用于F2计算.

预期产量,

这种情况迫使我采用自定义连接操作,因为IF-ELSE决定是否加入.

考虑到上面的场景,我想进行MAP-SIDE连接(将RHSPipe保留在MAP任务节点的内存中),我想到了以下可能的解决方案,每个都有其优缺点.需要你对这些建议.

选项1:

CoGroup - 我们可以使用带有BufferJoiner的CoGroup和自定义连接(操作)构建自定义连接逻辑,但这不会确保MAP-SIDE连接.

选项2:

HashJoin - 它确保了MAP-SIDE连接,但据我所知,自定义连接无法使用它构建.

请纠正我的理解并建议您的意见以满足此要求.

提前致谢.

我正在使用Hibernate 3.3.1,我想创建一个人和一个指定公司之间的关系.它们应该松散耦合,但我想安排通过级联创建公司,而不是显式调用saveOrUpdate(newCompany).

我定义了以下实体:

class Company
{
   @Id
   Long companyId;
   String name;
}

class Person
{
   @Id
   Long personId;
   String name;
   @ManyToOne(cascade = {CascadeType.PERSIST, CascadeType.REFRESH, CascadeType.MERGE})
   Company company;
}

在我的内心我正在做以下事情:

testpers.setCompany (newCompany);
session.saveOrUpdate(testpers);

我得到一个例外

org.hibernate.TransientObjectException:object引用未保存的瞬态实例 - 在刷新之前保存瞬态实例:consearch.model.core.Company

当使用"cascade = CascadeType.ALL"进行注释时,它可以正常工作,但是我不想再进行ccade删除(例如,如果删除了公司,则不应删除此人)

我想知道没有人在提前帮助我之前有这个问题.巴蒂尔

我正在许多输入文件上运行hadoop作业.但是如果其中一个文件被破坏,整个工作就会失败.

如何使作业忽略损坏的文件？也许为我写一些计数器/错误日志但不会失败整个工作