标签: transformer-model

我在这里做错了什么？我想将 Mule 消息的有效负载设置为包含多个值的映射，其中之一是流变量的内容。

<set-variable variableName="myVariable" value="foo"/>
<set-payload value="#[['STATUS':'OKAY','NEXT':'Test','TEXT':flowVars['myVariable']]]"/>
<logger level="INFO" message="#[payload]"/>

其输出是：

{STATUS=OKAY, NEXT=Test}

我期待着：

{STATUS=OKAY, NEXT=Test, TEXT=foo}

我知道我可以使用一系列表达式转换器来做到这一点，但是，如果我想使用这种表示法，为什么它不提取流变量的值呢？

编辑：删除源代码中的拼写错误 这解决了 Ryan 在下面的答案中指出的问题。

我可以使用以下代码创建变量赋值：

ts.createVariableStatement(undefined, 
     [ts.createVariableDeclaration('a', undefined, 
      ts.createStringLiteral('42'))])

/// yields: var a = 42

但是我无法创建 const 分配。我很确定它应该像这样工作：

ts.createVariableStatement([ts.createModifier(ts.SyntaxKind.ConstKeyword)], 
     [ts.createVariableDeclaration('a', undefined, 
      ts.createStringLiteral('42'))])

但这会产生一个错误：

[!] Error: Unexpected keyword 'var'

由于该错误，不会发出任何 JavaScript。错误消息也非常令人困惑。

我只是想知道是否可以将 HuggingFace BertForSequenceClassification模型扩展到 2 个以上的标签。文档说，我们可以传递位置参数，但似乎“标签”不起作用。有人有想法吗？

模型分配

labels = th.tensor([0,0,0,0,0,0], dtype=th.long).unsqueeze(0)
print(labels.shape)
modelBERTClass = transformers.BertForSequenceClassification.from_pretrained(
    'bert-base-uncased', 
    labels=labels
    )

l = [module for module in modelBERTClass.modules()]
l

控制台输出

torch.Size([1, 6])
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-122-fea9a36402a6> in <module>()
      3 modelBERTClass = transformers.BertForSequenceClassification.from_pretrained(
      4     'bert-base-uncased',
----> 5     labels=labels
      6     )
      7 

/usr/local/lib/python3.6/dist-packages/transformers/modeling_utils.py in from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs)
    653 
    654         # Instantiate model.
--> 655         model = cls(config, *model_args, **model_kwargs)
    656 
    657         if state_dict is None and not from_tf:

TypeError: __init__() …

我正在完成一项涉及 NLP 和 Transformer 的任务。我想识别文本语料库中的相关特征。如果我要从工作描述中提取相关特征，例如工作中将使用的工具（powerpoint、excel、java 等）以及所需的熟练程度，该任务是否更适合命名实体识别模型或问答模型。

如果我像 NER 任务一样处理它，我会给训练数据中的所有相关工具贴上标签，并希望它能很好地泛化。我可以像 QA 模型一样处理这个问题，并询问诸如“这项工作需要什么工具”之类的问题，并提供描述作为上下文。

我计划使用 Transformers 库，除非我缺少一个更好的工具来完成此任务。我希望提取许多功能，因此并非所有功能都像从列表中获取关键字（编程语言、微软 Office 等...）一样简单。

这些方法中的一种是否更适合，或者我是否缺少一种更好的方法来解决这个问题。

任何帮助表示赞赏。谢谢你！

我用来Pytorch运行 Transformer 模型。当我想分割数据（标记化数据）时，我使用以下代码：

train_dataset, test_dataset = torch.utils.data.random_split(
                                                            tokenized_datasets,
                                                            [train_size, test_size])

torch.utils.data.random_split使用洗牌方法，但我不想洗牌。我想按顺序分割它。

有什么建议吗？谢谢

我想做的是:

setParameter(String name, String value)

但API是:

void setParameter(QName name, XdmValue value)

我找不到任何正确创建XdmValue和QName的例子,我发现的例子都使用了这个函数/ api的不同版本.

我无法做到：pip install -U sentence-transformers。我在 Anaconda Prompt 上收到此消息：错误：找不到满足要求的版本 torch>=1.0.1（来自句子转换器）（来自版本：0.1.2、0.1.2.post1、0.1.2.post2 ) 错误：没有找到与 torch>=1.0.1 匹配的分布（来自句子转换器）有人可以帮忙吗？

Spacy 'train' 命令使用命令行选项 --gpu 0，允许在使用 GPU 训练和不使用 GPU 训练（仅使用 CPU）之间进行“最后一刻”选择。

但是，使用https://spacy.io/usage/training#quickstart在 GPU 和 CPU 之间进行选择会导致（基本）配置存在重大差异。就我而言（处理 NER），我有两个不同的管道：

• 对于 CPU： pipeline = [" tok2vec ","ner"]
• 对于 GPU：管道 = [“变压器”，“ner”]

（具有非常不同的以下组件设置）。

由于我的 GPU 只有 6GB 内存，所以我很快就用完了 GPU 内存 - 无法使用它。但是当我切换到仅使用 CPU 时，两个管道之间的训练行为有很大不同：

[“tok2vec”，“ner”] 管道几乎在单核上运行，在几个小时内训练我的模型（8,000 个训练，2000 个开发/验证文档）。明显比 Spacy 2 快（即使使用 GPU），尽管有时会使用大量内存（高达 30G）。

["transformer","ner"] 管道爆炸性地使用多达 20 个核心（在 40 个逻辑核心的机器上），因此我希望它能够快速运行。但它似乎会永远运行。在一个小时内，我只完成了第一个“纪元”，然后（在下一个纪元）它崩溃了（见下文）。由于我的数据（每个批处理 100 个“文档”的 DocBin 文件）是相同的，因此下面的崩溃（无序 B/I 标记）很难解释。

我的主要问题是为什么针对 GPU 和 CPU 时的管道不同？如果以 GPU 为目标，向量在哪里？

碰撞： ...

 File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 98, in …

我有这样的查询.我传递学生证我需要学生以及他们的父母的一些字段以及父母的一些字段 - >地址[这是我面临的主要问题]我正在使用Sami Andoni的AliasToBeanNestedResultTransformer变压器

这里是CODE的实现

这是我的代码.

public List<Student>searchForStudent(Integer studentId)
{           
    Projection p=Projections.projectionList().create()
    .add(Projections.property("name"),"name")//the student name it works O.K
    .add(Projections.property("lastname"),"lastname")//the student name it works O.K
    .add(Projections.property("age"),"age")//the student AGE it works O.K                
    .add(Projections.property("p.phone"),"parent.phone")//the parent phone it works O.K                
    .add(Projections.property("address.state").as("parent.Address.state")); // i need a field from address.state here is the problem...  
    Session session = ......
    Criteria like = session.createCriteria(Student.class).add(prepareForSelect())//some filters..
    .createAlias("parent","p")//the parent of the student. a student have one parent
    .createAlias("parent.Address","address")//the address of the parent.... a parent have …

我正在尝试使用Transformer将XML org.w3c.dom.Document转换为字符串：

DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();

    factory.setNamespaceAware(true);
    DocumentBuilder builder = null;
    try {
        builder = factory.newDocumentBuilder();
    } catch (ParserConfigurationException e) {

        e.printStackTrace();
    }

    Document doc = builder.newDocument();

    Element gameNode = doc.createElement("Game");
    gameNode.setAttribute("gameID", String.valueOf(game.getGameID()));
    gameNode.setAttribute("username", game.getUsername());
    gameNode.setAttribute("gameStartTime", String.valueOf(game.getGameStartTime()));
    gameNode.setAttribute("gameStartDate", String.valueOf(game.getGameStartDate()));
    gameNode.setAttribute("totalScore", String.valueOf(game.getTotalScore()));
    gameNode.setAttribute("totalTimeInSeconds", String.valueOf(game.getTotalTimeInSeconds()));
    gameNode.setAttribute("lastLevel", String.valueOf(game.getLastLevel()));
    gameNode.setAttribute("firstLevel", String.valueOf(game.getFirstLevel()));

    doc.appendChild(gameNode);



    for(int i = 0 ; i < game.getScores().size(); i++)
    {
        Element scoreNode = doc.createElement("Score");
        scoreNode.setAttribute("gameID", String.valueOf(game.getScores().get(i).getGameID()));
        scoreNode.setAttribute("points", String.valueOf(game.getScores().get(i).getPoints()));
        scoreNode.setAttribute("levelOfScore", String.valueOf(game.getScores().get(i).getLevelOfScore()));
        scoreNode.setAttribute("timeToScore", String.valueOf(game.getScores().get(i).getTimeToScore()));

        gameNode.appendChild(scoreNode);
    }


    return DocumentToString(doc);

我正在使用名为Game and Score的对象，它不应干扰该过程。

public static String …

我正在从直线单线程转换流程,以使用批处理器.所以,我将大部分流变量转换为recordVars.我在文档中找不到的一些问题:

• 如何访问java转换器中的记录var？我习惯使用message.getInvocationProperty来获取流量变量
• 当我更改流量变量时会发生什么 - 批次中的其他线程是否可以看到变化？

看起来 pytorch 的 Transformer 层无法提供可重现的输出。cpu和gpu都会出现这种情况。我知道有时会因为 GPU 上的并行计算而发生这种情况。

emb = nn.Embedding(10, 12).to(device)
inp1 = torch.LongTensor([1, 2, 3, 4]).to(device)
inp1 = emb(inp1).reshape(inp1.shape[0], 1, 12) #S N E

encoder_layer = nn.TransformerEncoderLayer(d_model=12, nhead=4)
transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=4)

out1 = transformer_encoder(inp1)
out2 = transformer_encoder(inp1)

out1 和 out2 不同。它可以在 cpu 上进行多处理，但结果看起来太不稳定。如何解决这个问题？

在应用任何应用程序/业务逻辑之前，Laravel中的中间件可用于添加应用程序范围的逻辑（或特定于特定路由或一组路由）。我想做同样的事情，但是在完成所有应用程序/业务逻辑之后。我对中间件的爱好是，它将中间件集中在应用所述逻辑的位置。在请求/响应生命周期结束时，有没有办法做到这一点？

一种选择是使用变压器，但由于某种原因，我发现它不如中间件那么干净（也许是因为它是由第三方完成的？）

示例用例：我希望有一组端点始终以替代货币而不是美元返回值，仅当来自某个地理区域（我已经知道）的某种类型的购物者提出此类请求时。因此，我将需要执行业务逻辑，然后在我将JSON响应发回之前，我想“劫持”该响应并将所有USD值替换为我选择的另一种货币。

有想法吗？（我正在使用Laravel 5.5）