小编Ped*_*ram的帖子

持续预训练与使用 MLM 微调语言模型

我有一些自定义数据想用来进一步预训练BERT 模型。到目前为止,我\xe2\x80\x99已经尝试了以下两种方法:

\n
    \n
  1. MLM从预训练的 BERT 检查点开始,继续使用 Masked Language Modeling ( ) + Next Sentence Prediction ( ) 头进行预训练NSP(例如使用BertForPreTraining模型)
  2. \n
  3. 从具有目标的预训练 BERT 模型开始MLM(例如,使用BertForMaskedLM模型,假设我们不需要 NSP 来进行预训练部分。)
  4. \n
\n

但我\xe2\x80\x99m仍然感到困惑,如果使用BertForPreTrainingBertForMaskedLM实际上对 BERT 进行持续预训练,或者这只是两个分别使用 MLM+NSP 和 MLM 微调 BERT 的模型。使用 MLM+NSP 微调 BERT 或使用这两个头持续预训练之间是否有任何区别,或者这是我们需要测试的东西?

\n

我已经审查了类似的问题,例如这个问题,但我仍然想确保从技术上讲,从初始检查点持续预训练模型与使用相同的目标/头对其进行微调之间是否存在差异。

\n

nlp deep-learning pre-trained-model bert-language-model huggingface-transformers

10
推荐指数
2
解决办法
1万
查看次数

Kendo 网格数据源嵌套和组合过滤器

我有多个过滤器将应用于剑道网格数据源。

如果我有如下所示的过滤器,则一切正常,其中gridConfig是我的剑道网格的配置:

            var mainFilters = [];

            mainFilters.push({
                field: "x",
                operator: "eq",
                value: 1
            });

            mainFilters.push({
                field: "y",
                operator: "eq",
                value: 2
            });

            gridConfig.instance.dataSource.filter({
                 logic: "and",
                 filters: mainFilters
            });
Run Code Online (Sandbox Code Playgroud)

我的问题就出在这里。我有另一个属性,假设z是一个值数组。我想用OR逻辑过滤 z 属性值上的剑道网格数据源。例如,这是我的 z 属性过滤器:

            zFilters.push(
                    { field: "z", operator: "eq", value: 3},
                    { field: "z", operator: "eq", value: 4});

            gridConfig.instance.dataSource.filter({
                 logic: "or",
                 filters: zFilters
            });
Run Code Online (Sandbox Code Playgroud)

现在,我想组合这两个过滤器并将它们同时应用到我的剑道网格数据源上。这意味着我的最终结果是基于这样的逻辑:

(x = 1) AND (y = 2) AND (z = 3 OR z = 4)
Run Code Online (Sandbox Code Playgroud)

我怎样才能用剑道过滤器做到这一点?

filter kendo-grid

5
推荐指数
1
解决办法
4391
查看次数

如何在 HTML 中使用多种颜色突出显示文本的不同部分

假设我们有一段文本,我们想用不同的颜色突出显示文本的不同部分,如下所示:

在此输入图像描述

突出显示可以包括文本跨度之间的潜在重叠,如上例所示。我只是想知道我需要使用/利用什么样的技术来实现这一目标?我是否应该尝试使用 CSS 和 HTML 来了解如何在 HTML 中定义类span或标签?mark或者是否有任何免费且随时可用的东西,以便我可以使用适当的标签生成文本并将其放入 HTML 中以生成彩色文本?

我的模板在HTML5.

html css highlight

5
推荐指数
1
解决办法
1702
查看次数

安装Homebrew时出错:dyld:未加载库:@ rpath / libssl.1.0.0.dylib

我正在尝试在Mac OS上安装Homebrew(macOS Mojave版本10.14.3)

而且我不断收到以下错误(我在终端中看到的确切消息):

dyld: Library not loaded: @rpath/libssl.1.0.0.dylib
  Referenced from: /Users/[my_machine_name]/anaconda3/lib/libssh2.1.dylib
  Reason: image not found
Run Code Online (Sandbox Code Playgroud)

我看到很多解决方案在其解决方案中都提到了一些与brew相关的命令,但是我试图在此处安装brew,所以我还没有brew。我想知道我该怎么办?

编辑:

我正在使用以下命令来安装brew:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
Run Code Online (Sandbox Code Playgroud)

macos homebrew

4
推荐指数
1
解决办法
1680
查看次数

在SQL Server中使用不同编码搜索波斯语字符和单词

我有一个包含波斯语单词并使用 ANSI 编码保存的文本文件。当我尝试从文本文件中读取波斯语单词时,我收到一些字符,例如“?”。为了解决这个问题,我将文件编码更改为UTF8并重新编写文本文件。更改文件编码的方法如下:

\n
    public void Convert2UTF8(string filePath)\n    {\n        //first, read the text file with "ANSI" endocing\n        StreamReader fileStream = new StreamReader(filePath, Encoding.Default);\n        string fileContent = fileStream.ReadToEnd();\n        fileStream.Close();\n        //Now change the file encoding and replace it with the UTF8\n        StreamWriter utf8Writer = new StreamWriter(filePath.Replace(".txt", ".txt"), false, Encoding.UTF8);\n        utf8Writer.Write(fileContent);\n        utf8Writer.Close();\n    }\n
Run Code Online (Sandbox Code Playgroud)\n

现在第一个问题已经解决了;但是,这里还有另一个问题:每次我想从 SQL Server 数据库表中搜索波斯语单词时,结果都是空,而数据库表中确实存在该记录。

\n

找到表中存在的波斯语单词的解决方案是什么?我当前使用的代码如下所示:

\n
SELECT * FROM [dbo].[WordDirectory] \nWHERE Word = N'\xda\xa9\xd9\x84\xd9\x85\xd9\x87'\n
Run Code Online (Sandbox Code Playgroud)\n

Word是保存波斯语单词的字段。该字段的类型是NVARCHAR。我的 SQL Server 版本是 2012。\n我应该更改排序规则吗?

\n

sql-server utf-8 farsi

3
推荐指数
1
解决办法
1万
查看次数

如何恢复已删除的 Jupyter 笔记本文件

我不小心删除了 Google Cloud 实例上的 jupyter 笔记本文件。我想知道是否有办法恢复/恢复该文件?

jupyter jupyter-notebook

1
推荐指数
1
解决办法
6916
查看次数