我想从我的笔记本电脑中删除张量流和拥抱脸部模型。我确实找到了一个链接https://github.com/huggingface/transformers/issues/861 ,但是没有命令可以删除它们,因为如链接中所述,手动删除可能会导致问题,因为我们不知道还有哪些其他文件链接到这些模型或期望某个模型出现在该位置,或者只是它可能会导致一些错误。
我正在尝试微调 LLM
到目前为止我的代码:
from datasets import load_dataset, DatasetDict, Dataset
from transformers import (
AutoTokenizer,
AutoConfig,
AutoModelForSequenceClassification,
DataCollatorWithPadding,
TrainingArguments,
Trainer)
from peft import PeftModel, PeftConfig, get_peft_model, LoraConfig
import evaluate
import torch
import numpy as np
# load dataset
dataset = load_dataset('TokenBender/code_instructions_122k_alpaca_style')
dataset
Run Code Online (Sandbox Code Playgroud)
错误:
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
Cell In [12], line 2
1 # load dataset
----> 2 dataset = load_dataset('TokenBender/code_instructions_122k_alpaca_style')
3 dataset
File /usr/local/lib/python3.9/dist-packages/datasets/load.py:1664, in load_dataset(path, name, data_dir, data_files, split, cache_dir, features, download_config, download_mode, ignore_verifications, keep_in_memory, save_infos, …
Run Code Online (Sandbox Code Playgroud) 我正在尝试将迁移学习与 VGG16 结合使用。我正在使用 Keras。但我出错了
vgg = vgg16.VGG16(include_top=False, weights='imagenet', input_shape=(IMG_SIZE, IMG_SIZE, 1))
Run Code Online (Sandbox Code Playgroud)
有什么帮助出什么问题了吗?
注:IMG_SIZE
=200
错误的轨迹是
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-5-1b17094c93e2> in <module>
3 import keras
4
----> 5 vgg = vgg16.VGG16(include_top=False, weights='imagenet', input_shape=(IMG_SIZE, IMG_SIZE, 1))
6
7 output = vgg.layers[-1].output
c:\users\hiteshsom\documents\deepanshu_q2\env\lib\site-packages\tensorflow\python\keras\applications\vgg16.py in VGG16(include_top, weights, input_tensor, input_shape, pooling, classes, classifier_activation)
124 ' as true, `classes` should be 1000')
125 # Determine proper input shape
--> 126 input_shape = imagenet_utils.obtain_input_shape(
127 input_shape,
128 default_size=224,
c:\users\hiteshsom\documents\deepanshu_q2\env\lib\site-packages\tensorflow\python\keras\applications\imagenet_utils.py in obtain_input_shape(input_shape, default_size, …
Run Code Online (Sandbox Code Playgroud) 我正在尝试在 GCP 实例上运行我的 Flask 应用程序。但是,该应用程序会在该实例的本地主机上发布。我想访问该实例本地主机。
我看过几个视频和文章,但几乎都是关于在 GCP 上部署应用程序的。是否没有简单的方法可以将虚拟机实例的本地主机上发布的任何内容转发到我的 PC 浏览器,如果我在应用程序中提交一些信息,那么它会转到虚拟机实例并通过虚拟机实例本地主机将结果返回到我的本地计算机的浏览器。
执行start-all.cmd
命令时出现此错误。我也无法访问http:// localhost:8088,但是我能够访问http:// localhost:9870
下面的错误代码来自资源管理器命令提示符
FATAL resourcemanager.ResourceManager: Error starting ResourceManager
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.getDeclaredMethods(Class.java:1975)
at com.google.inject.spi.InjectionPoint.getInjectionPoints(InjectionPoint.java:688)
at com.google.inject.spi.InjectionPoint.forInstanceMethodsAndFields(InjectionPoint.java:380)
at com.google.inject.spi.InjectionPoint.forInstanceMethodsAndFields(InjectionPoint.java:399)
at com.google.inject.internal.BindingBuilder.toInstance(BindingBuilder.java:84)
at org.apache.hadoop.yarn.server.resourcemanager.webapp.RMWebApp.setup(RMWebApp.java:56)
at org.apache.hadoop.yarn.webapp.WebApp.configureServlets(WebApp.java:160)
at com.google.inject.servlet.ServletModule.configure(ServletModule.java:55)
at com.google.inject.AbstractModule.configure(AbstractModule.java:62)
at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:340)
at com.google.inject.spi.Elements.getElements(Elements.java:110)
at com.google.inject.internal.InjectorShell$Builder.build(InjectorShell.java:138)
at com.google.inject.internal.InternalInjectorCreator.build(InternalInjectorCreator.java:104)
at com.google.inject.Guice.createInjector(Guice.java:96)
at com.google.inject.Guice.createInjector(Guice.java:73)
at com.google.inject.Guice.createInjector(Guice.java:62)
at …
Run Code Online (Sandbox Code Playgroud) 嗨,我正在尝试构建我的 docker 容器。但开始收到这些错误
Sending build context to Docker daemon 26.09MB
Step 1/12 : FROM ubuntu:18.04
---> 6526a1858e5d
Step 2/12 : RUN apt-get update && apt-get -y upgrade && apt-get -y install python3.8 && apt -y install python3-pip && pip3 install --upgrade pip
---> Running in 7ee80131fc66
Get:1 http://security.ubuntu.com/ubuntu bionic-security InRelease [88.7 kB]
Get:2 http://archive.ubuntu.com/ubuntu bionic InRelease [242 kB]
Get:3 http://archive.ubuntu.com/ubuntu bionic-updates InRelease [88.7 kB]
Get:4 http://archive.ubuntu.com/ubuntu bionic-backports InRelease [74.6 kB]
Get:5 http://archive.ubuntu.com/ubuntu bionic/main amd64 Packages [1344 kB]
Get:6 http://archive.ubuntu.com/ubuntu bionic/multiverse …
Run Code Online (Sandbox Code Playgroud) 我想了解为什么需要标准化后验。如果我对朴素贝叶斯定理的理解有误,请纠正我。
在公式
P(B|A) = P(A|B)*P(B) / P(A)
RHS 概率是根据训练数据 P(A|B) 计算的,其中 A 是输入特征,B 是目标类别 P(B) 是所考虑的目标类别的概率,P(A) 是输入特征的概率。
一旦计算出这些先验概率,您就可以获得测试数据,并根据测试数据的输入特征计算目标类概率,即 P(B|A)(我猜这称为后验概率)。
现在,在一些视频中,他们教导说,在此之后,您必须对 P(B|A) 进行归一化以获得该目标类别的概率。
为什么这是必要的。P(B|A) 本身不是目标类别的概率吗?
tensorflow ×2
data-science ×1
docker ×1
hadoop ×1
hadoop-yarn ×1
keras ×1
naivebayes ×1
probability ×1
python ×1
pytorch ×1
ubuntu ×1
vgg-net ×1
windows-10 ×1