小编Yog*_*sch的帖子

在不同型号上应用PEFT/LoRA的目标模块

我正在研究在不同模型上使用 PEFT 的几个不同 示例。LoraConfig对象包含一个target_modules数组。在一些示例中,目标模块是["query_key_value"],有时是["q", "v"],有时是其他。

我不太明白目标模块的值来自哪里。我应该在模型页面的哪个位置查看 LoRA 适配模块是什么?

一个示例(针对型号 Falcon 7B):

peft_config = LoraConfig(
    lora_alpha=lora_alpha,
    lora_dropout=lora_dropout,
    r=lora_r,
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=[
        "query_key_value",
        "dense",
        "dense_h_to_4h",
        "dense_4h_to_h",
    ]
Run Code Online (Sandbox Code Playgroud)

另一个例子(对于型号 Opt-6.7B):

config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
Run Code Online (Sandbox Code Playgroud)

还有另一个(对于型号 Flan-T5-xxl):

lora_config = LoraConfig(
 r=16,
 lora_alpha=32,
 target_modules=["q", "v"],
 lora_dropout=0.05,
 bias="none",
 task_type=TaskType.SEQ_2_SEQ_LM
)
Run Code Online (Sandbox Code Playgroud)

nlp huggingface-transformers huggingface peft fine-tuning

16
推荐指数
1
解决办法
1万
查看次数

Play 商店 2020:是否有将应用从封闭测试“推广”到生产的审核流程?

所以我刚刚提交了一个应用程序进行封闭式 alpha 测试。发布状态为“正在审核”。

在此之后,我将需要推广完全相同的应用程序(没有新的更新/升级/APK 上传)以开放测试和生产。在每个阶段,是否还会有单独的审核流程?

这里有一个几乎相同的问题但它已经有几年了,而且最近审查过程似乎发生了变化。所以我又来问了。

google-play google-play-console

5
推荐指数
1
解决办法
1343
查看次数

Linter 抱怨 React Native 挂钩中的依赖数组为空

在 React Native 中,useEffect使用空依赖数组是可以接受的(这通常是出于合法原因故意这样做的)。

在useEffect中,不提供依赖数组和提供空依赖数组有什么区别?

然而,Linter 不断抱怨并建议要么添加某些参数作为依赖项数组的元素,要么将其删除。删除依赖数组对我来说不是一个选择。我应该接受 Linter 建议并向依赖项数组添加一长串项目吗?或者有没有一种简单的方法可以更改 Linter 设置?

javascript react-native linter react-hooks

4
推荐指数
1
解决办法
3222
查看次数

PostgreSQL或MySQL在Node.js中更受欢迎吗?

绝对而言,Postgres具有更多功能,并已被Instagram等大规模使用。而MySQL具有更大的用户基础,并已被Facebook,Quora等广泛使用。但是,如何与NodeJS结合使用呢?

哪个更受NodeJS的欢迎?

mysql postgresql node.js

0
推荐指数
1
解决办法
2863
查看次数