标签: mapper

我们如何在lift的映射器中创建一个独特的约束？

我在Scala 中使用Mapper创建了一个表.

class Stage extends Mapper[Stage]
{                   
  def getSingleton = Stage             
  object controlId extends MappedLongForeignKey (this,Control) {  
    override def dbNotNull_? = true  
    override def dbColumnName = "control_id"  
  }  
}

但是我的表没有为数据库中的foreignKey键创建约束.

在我的一个MapReduce任务中,我将BytesWritable重写为KeyBytesWritable,并将ByteWritable重写为ValueBytesWritable.然后我使用SequenceFileOutputFormat输出结果.

我的问题是,当我开始下一个MapReduce任务时,我想将此SequenceFile用作输入文件.那么我怎样才能设置jobclass,以及Mapper类如何识别我之前覆盖的SequenceFile中的键和值？

我明白我可以通过SequenceFile.Reader来读取键和值.

Configuration config = new Configuration();
Path path = new Path(PATH_TO_YOUR_FILE);
SequenceFile.Reader reader = new SequenceFile.Reader(FileSystem.get(config), path, config);
WritableComparable key = (WritableComparable) reader.getKeyClass().newInstance();
Writable value = (Writable) reader.getValueClass().newInstance();
while (reader.next(key, value))

但我不知道如何使用此Reader将键和值作为参数传递给Mapper类.我怎样才能将conf.setInputFormat设置为SequenceFileInputFormat,然后让Mapper获取密钥和值？

谢谢

即时通讯使用AutoMapper进行地图实体和DataSet

AutoMapper.Mapper.CreateMap<IDataReader, Home>():

我在Home实体中有一个属性调用MobileNumber,并希望在实体中映射此属性的静态值,那么当实体与DataSet映射时如何添加静态值？

我试图在hazelcast 3.4上运行map/reduce任务,但我一直没有找到类没有异常

我创建了几个玩家并将它们存储到IMap

    this.conf = new ClientConfig();
    HazelcastInstance cluster = HazelcastClient.newHazelcastClient(this.conf);
    Map<String, Player> mapPlayers = cluster.getMap("players");

    for (int playerID = 0; playerID < 10000; playerID++) {
        Player p = new Player();
        mapPlayers.put(Integer.toString(playerID), p);
        System.out.println("inserted player nuber " + Integer.toString(playerID));
    }

之后我创建了map reduce class MRCount

public class MRCount {
    private ClientConfig conf;

    public MRCount() {
        this.conf = new ClientConfig();
        this.conf.getNetworkConfig();
    }

    public void getCount() throws ExecutionException, InterruptedException {
        HazelcastInstance cluster = HazelcastClient.newHazelcastClient(this.conf);
        IMap<String, Player> mapPlayers = cluster.getMap("players");
        KeyValueSource<String, Player> source = …

我知道

Mapper 的输出（中间数据）存储在每个单独的 Mapper 数据节点的本地文件系统（不是 HDFS）上。这通常是一个临时目录，可以由 Hadoop 管理员在配置中设置。一旦Mapper作业完成或数据传输到Reducer，这些中间数据将被清除并且无法再访问。

但是，我想知道映射器何时将其输出存储到本地硬盘？是不是因为数据太大，内存放不下？并且只有正在处理的数据保留在内存中？如果数据很小并且整个数据可以放入内存中，那么就不需要磁盘参与了吗？

一旦数据在mapper中处理后，我们是否可以不直接将数据从mapper移动到reducer而不涉及mapper m/c的硬盘。我的意思是，当数据在映射器中处理并且位于内存中时，一旦计算完毕，它就会直接传输到减速器，并且映射器可以类似地传递下一个数据块，而无需磁盘参与。

在spark中，据说有内存计算，这和上面有什么不同？是什么让 Spark 内存计算比 Map Reduce 更好？另外，在spark中，如果数据太大，就必须涉及磁盘？

请解释

我找到了一个如何使用类映射进行单表继承的示例。

http://docs.sqlalchemy.org/en/latest/orm/inheritance.html#single-table-inheritance

但是对于我的生活，我找不到如何使用经典映射器执行此操作的示例，以便我可以将我的类和持久映射分开。

如何将此示例转换为经典映射？我很清楚创建表，只是不确定如何实际构建映射器。

在示例中，定义了以下类型：

class Employee(Base):

class Manager(Employee):

class Engineer(Employee):

假设我已经创建了适当的表：

employee = Table(...Column(type...))

我如何为映射器编写代码，以便经理和工程师都生活在同一个表中（单表继承），按类型（“经理”、“工程师”或其他员工）区分？

谢谢。

我在变量中有一个字符串，而不是在文件中。

我可以使用 CSVHelper ( https://joshclose.github.io/CsvHelper/ ) 来解析字符串并将其映射到我的对象上吗？

映射 CSV 文件的代码有效：

TextReader reader = new StreamReader("data.csv");
var csvReader = new CsvReader(reader);
var records = csvReader.GetRecords<CarModel>();

如何更改它以将字符串映射到对象：

String carmodels "make,model,year\n\rFord,Escort,1998\n\rHonda,Civiv,1994";
TextReader reader = new StreamReader(carmodels);
var csvReader = new CsvReader(reader);
var records = csvReader.GetRecords<CarModel>();

谢谢你的帮助，

标记

我现在正在学习分区概念.任何人都可以解释下面的代码.我很难理解

public class TaggedJoiningPartitioner extends Partitioner<TaggedKey,Text> {

    @Override
    public int getPartition(TaggedKey taggedKey, Text text, int numPartitions) {
        return taggedKey.getJoinKey().hashCode() % numPartitions;
    }
}

这个taggedKey.getJoinKey().hashCode()%numPartitions如何确定要为密钥执行哪个reducer？

任何人都能解释一下这个吗？

2016-10-20 18:03:51.253 WARN 17216 --- [restartedMain] .scaCommonAnnotationBeanPostProcessor:在名为'cacheConfiguration'的bean上调用destroy方法失败:java.lang.NullPointerException 2016-10-20 18:03:51.274 WARN 17216 --- [restartedMain] osboot.SpringApplication:错误处理失败(在类路径资源[org/springframework/security/config/annotation/web/configuration/WebSecurityConfiguration.class]中定义名称为'delegatingApplicationListener'的bean创建错误:BeanPostProcessor之前bean的实例化失败;嵌套异常是org.springframework.beans.factory.BeanCreationException:创建名为'org.springframework.cache.annotation.ProxyCachingConfiguration'的bean时出错:bean的初始化失败;嵌套异常是org.springframework.beans.factory .NoSuchBeanDefinitionException:没有定义名为'org.springframework.context.annotation.ConfigurationClassPostProcessor.importRegistry'的bean)2016-10-20 18:03:51.749 ERROR 17216 --- [ restartedMain] osbdLoggingFailureAnalysisReporter:

应用程序未能启动

描述:

com.bosheng.java.service.impl.CountryServiceImpl中的field countryper字段需要一个无法找到的类型为"com.bosheng.java.service.mapper.CountryMapper"的bean.

行动:

考虑在配置中定义类型为"com.bosheng.java.service.mapper.CountryMapper"的bean.