标签: training-data

我在我的OPENCV_ROOT文件夹中并在 Win-x64 中运行以下命令：

opencv_createsamples -bgcolor 0 -bgthresh 0 -maxxangle 1.1 -maxyangle 1.1 
maxzangle 0.5 -maxidev 40 -w 80 -h 40 
-img ABSOLUTE_PATH_TO_POSITIVE_IMAGES_FOLDER\car.jpg 
-bg ABSOLUTE_PATH_TO_PROJECT\negatives.txt
-vec ABSOLUTE_PATH_TO_SAMPLES_FOLDER\car.jpg.vec 
-num 125

我的negatives.txt看起来像这样：

negative_images\city01_02.jpg
negative_images\city01_04.jpg
negative_images\city01_05.jpg
negative_images\city01_06.jpg
negative_images\city01_07.jpg

这是我的输出：

Info file name: (NULL)
Img file name: ABSOLUTE_PATH_TO_POSITIVE_IMAGES_FOLDER\car.jpg
Vec file name: ABSOLUTE_PATH_TO_SAMPLES_FOLDER\car.jpg.vec
BG  file name: ABSOLUTE_PATH_TO_PROJECT\negatives.txt
Num: 125
BG color: 0
BG threshold: 0
Invert: FALSE
Max intensity deviation: 40
Max x angle: 1.1
Max y angle: 1.1
Max z angle: …

我想从 中创建训练和测试数据mydata，其中有 2673 个观察值和 23 个变量。但是，我无法仅通过简单地减去训练数据来创建测试集。

dim(mydata)
## [1] 2673   23
set.seed(1)
train = mydata[sample(1:nrow(mydata), 1000, replace=FALSE), ]
dim(train)
## [1] 1000   23

当我运行以下命令时，我收到 19 个警告，结果有 20,062 个观察值：

test = mydata[!train, ]
## There were 19 warnings (use warnings() to see them)
dim(test)
## [1] 20062    23

我究竟做错了什么？

所以我已经阅读了一些关于神经网络的内容,我听到了与输入,输出,权重,激活函数,隐藏层,3层方法和一些微积分有关的内容,但这与编程有什么关系呢？一个真实的神经网络.我正在讨论if语句,while循环,类,字符串,数组,散列和排序.输入,输出,权重,激活函数和微积分与实际编程有什么关系.特别是微积分部分.你如何编写可以"训练"神经网络/程序的代码.我很确定我觉得我在问初学者问题.

我试图通过在代码中描述的helen 数据集上执行train_dlib_shape_predictor_ex.cpp来训练Dlib的形状预测器,我将测试图像放在形状预测器的当前目录中的面部文件夹中.但是,当我运行代码时,它抛出以下异常:

C:\train_shape_predictor_ex\Release>train_shape_predictor_ex test

exception thrown!
ERROR: unable to open test/training_with_face_landmarks.xml for reading.

as no training_with_face_landmarks.xml和testing_with_face_landmarks.xmlhelen数据集中的文件可用于以下页面:link

有一个名为annotation的文件夹,其中包含一个文本文件,其中包含数据集中每个图像的194个地标点位置.如何将此文件转换为training_with_face_landmarks.xml.

请帮助我更多地了解我的第一次哈尔培训结果.所以我想跟随Dileep Kumar的文章训练哈尔分类器来识别简单的笔.

用我的手机拍了14张笔.这些图片大小很大:263x2814
然后我收集了负面图片,其中一些是从网上下载的,尺寸为640x480,其中一些使用我的手机相机制作,尺寸:1920x1080,5313x2388

其中一些负面影像真的很大.我总共有158张负片.
之后创建负面和正面图像列表并运行:createsamples命令:

 perl createtrainsamples.pl positives.dat negatives.dat samples 250  "opencv_createsamples  -bgcolor 0 -bgthresh 0 -maxxangle 0.5 -maxyangle 0.5 maxzangle 0.5 -maxidev 40 -w 160 -h 20"

我不确定这里160 for for和20 for height是否合适？
然后在使用samples.vec文件后,我运行级联训练,使用以下命令:

opencv_traincascade -data firstTry -vec samples.vec  -bg negatives.dat -numPos 250 -numNeg 99 -numStages 25 –featureType HAAR  -mode ALL -w 160  -h 20 -mem 2048

我使用相同的宽度和高度,但不确定这是否正确.我从一些参考脚本中获取了宽度和高度值.获取cascade.xml文件后,我使用以下参数在我的图片上运行detectMultiScale:

faces = faceCascade.detectMultiScale(   image,   scaleFactor=1.4,  minNeighbors=3,   minSize=(30, 30) )

检测效果不佳.它只是检测笔的某些部分而不是完整的笔.
此外,当我有一些笔放在环境中的照片,而不是笔没有被检测到.

我想我需要调整所有正面和负面图像的大小,并使它们大小相同,但不确定.
你能不能就我在这里做错了什么以及如何改进我的结果提出一些意见.

你可以在这里 …

我是 Tensorflow 和机器学习的新手，并使用 Tensorflow 和我的自定义输入数据尝试了 CNN。但我收到下面附加的错误。

数据或图像大小为 28x28，带有 15 个标签。我没有在这个脚本或错误中得到 numpy reshape 的东西。

非常感谢帮助。

import tensorflow as tf
import os
import skimage.data
import numpy as np
import random

def load_data(data_directory):
    directories = [d for d in os.listdir(data_directory) 
                   if os.path.isdir(os.path.join(data_directory, d))]
    labels = []
    images = []
    for d in directories:
        label_directory = os.path.join(data_directory, d)
        file_names = [os.path.join(label_directory, f) 
                      for f in os.listdir(label_directory) 
                      if f.endswith(".jpg")]
        for f in file_names:
            images.append(skimage.data.imread(f))
            labels.append(d)
        print(str(d)+' Completed')
    return images, labels

ROOT_PATH = "H:\Testing\TrainingData"
train_data_directory = …

因此，我根据人类的存在为我的图像提供了“0”和“1”的标签。当我传递所有图像并尝试训练我的模型时。我收到内存错误。

    import warnings
    warnings.filterwarnings('ignore')
    import tensorflow as to
    import tensorflow.keras
    from tensorflow.keras.preprocessing.image import ImageDataGenerator
    from tensorflow.keras.callbacks import ReduceLROnPlateau, CSVLogger, EarlyStopping
    from tensorflow.keras.models import Model
    from tensorflow.keras.layers import GlobalAveragePooling2D, Dense
    from tensorflow.keras.applications.resnet50 import ResNet50


    from PIL import Image
    import os
    import numpy as np
    train_x=[]
    train_y=[]
    for path in os.listdir('C:\\Users\\maini_\\Desktop\\TestAndTrain\\in\\train'):
        img = Image.open('C:\\Users\\maini_\\Desktop\\TestAndTrain\\in\\train\\'+path)
        train_x.append(np.array(img))
        train_y.append(1)
        img.close()
    for path in os.listdir('C:\\Users\\maini_\\Desktop\\TestAndTrain\\notin\\train'):
        img = Image.open('C:\\Users\\maini_\\Desktop\\TestAndTrain\\notin\\train\\'+path)
        train_x.append(np.array(img))
        train_y.append(0)
        img.close()
    print("done" )

   train_x = np.array(train_x)
   train_x = train_x.astype(np.float32)
   train_x /= 255.0

   train_y = np.array(train_y)

我正在与 …

运行时错误：CUDA 内存不足。尝试分配 144.00 MiB（GPU 0；11.17 GiB 总容量；10.49 GiB 已分配；13.81 MiB 空闲；PyTorch 总共保留 10.56 GiB）如果保留内存 >> 已分配内存，请尝试设置 max_split_size_mb 以避免碎片。请参阅内存管理和 PYTORCH_CUDA_ALLOC_CONF 的文档

这是我遇到的错误，我尝试过调整批量大小但无济于事。我正在 google colab 上进行培训。

这是与错误相关的代码段：

training_args = TrainingArguments(
output_dir="/content/",
num_train_epochs=EPOCHS,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
# gradient_accumulation_steps=BATCH_UPDATE,
evaluation_strategy="epoch",
save_strategy='epoch',
fp16=True,
fp16_opt_level=APEX_OPT_LEVEL,
warmup_steps=WARMUP_STEPS,    
learning_rate=LR,
adam_epsilon=EPS,
weight_decay=0.01,        
save_total_limit=1,
load_best_model_at_end=True,     
)

有什么解决办法吗？

按照本教程，我已经创建了我的正样本，但现在需要使用 mergevec 合并它们。我下载了提供的 mergevec.exe 二进制文件，并获得了两个必需的 dllcxcore100.dll和highgui100.dll. 但是，当我像这样运行它时：

mergevec samples.txt samples.vec

它给了我错误：

ERROR: Input file <filename> does not exist or not readable.

我该怎么做才能解决这个问题？我的 vec 文件很好，因为我能够使用该opencv_createsamples实用程序查看它们。所以我知道他们很好。

在训练分类器时,为什么我们使用负片或背景图像？它们如何用于训练对象分类器？任何人都可以解释使用MATLAB等编程语言完成培训的一般程序吗？

我的需要很简单：我有一个带有分组变量的 data.frame，如下所示：

library(dplyr)
proportion = 0.5; set.seed(1)
df = data.frame(id=1:6, name=c("a", "a", "b"), value=rnorm(6)) %>% arrange(name)

我只想保留每组的前半部分（按 订购时id）。（我想使用可修改的比例而不是一半，比如 0.65，因为它用于训练/测试目的的数据拆分）

许多问题都回答了这个问题，但是有固定数量的行（使用top_n()，这里）我不知道如何使它依赖于每个组的大小，使用dplyr. 我不想要，sample_frac()因为它会破坏id秩序。但是，我使用自定义函数分两步找到了解决方案：

myfunc = function(data, prop){head(data, nrow(data)*prop)}
splitted.data = split(df, df$name)
lapply(splitted.data, myfunc, prop=proportion) %>% bind_rows()
####   id name      value
#### 1  1    a -0.6264538
#### 2  2    a  0.1836433
#### 3  3    b -0.8356286

但是我可以dplyr直接这样做吗？谢谢

我使用谷歌合作实验室训练可能的数据集。我将数据集上传到了Google云端硬盘，并从Google Colab调用了该数据集。但是运行train.py脚本意味着出现以下错误。更确切地说，我跑：

!python3  /content/drive/tensorflow1/models/research/object_detection/train.py --logtostderr --train_dir=/content/drive/tensorflow1/models/research/object_detection/training/ --pipeline_config_path=/content/drive/tensorflow1/models/research/object_detection/training/faster_rcnn_inception_v2_pets.config

我得到这些错误：

Traceback (most recent call last):
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/pywrap_tensorflow.py", line 58, in <module>
    from tensorflow.python.pywrap_tensorflow_internal import *
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 28, in <module>
    _pywrap_tensorflow_internal = swig_import_helper()
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 24, in swig_import_helper
    _mod = imp.load_module('_pywrap_tensorflow_internal', fp, pathname, description)
  File "/usr/lib/python3.6/imp.py", line 243, in load_module
    return load_dynamic(name, filename, file)
  File "/usr/lib/python3.6/imp.py", line 343, in load_dynamic
    return _load(spec)
ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory

During handling of the above exception, …

我是jackaroo学习如何训练opencv的功能,我在url下引用这些.

http://coding-robin.de/2013/07/22/train-your-own-opencv-haar-classifier.html

以上文章作者建议与他的项目一起学习,就像这里一样.

https://github.com/mrnugget/opencv-haar-classifier-training

我一步一步地学习,但在将mergevec.cpp复制到我的opencv应用程序的目录后,在同一个模具中,像这样

cp src/mergevec.cpp ~/opencv-2.4.9/apps/haartraining
cd ~/opencv-2.4.9/apps/haartraining

然后,我想通过使用以下方法获取可执行文件mergevec

g++ `pkg-config --libs --cflags opencv` -I. -o mergevec mergevec.cpp\
cvboost.cpp cvcommon.cpp cvsamples.cpp cvhaarclassifier.cpp\
cvhaartraining.cpp\
-lopencv_core -lopencv_calib3d -lopencv_imgproc -lopencv_highgui -lopencv_objdetect

我得到错误

/tmp/cc9GpmMW.o: In function `JpgDatasetGenerator::JpgDatasetGenerator(char const*)':
cvhaartraining.cpp:(.text+0xafd5): undefined reference to `IOutput::createOutput(char const*, IOutput::OutputType)'
/tmp/cc9GpmMW.o: In function `PngDatasetGenerator::PngDatasetGenerator(char const*)':
cvhaartraining.cpp:(.text+0xb24d): undefined reference to `IOutput::createOutput(char const*, IOutput::OutputType)'
cvhaartraining.cpp:(.text+0xb24d): undefined reference to `IOutput::createOutput(char const*, IOutput::OutputType)'

我试着通过查看opecv论坛的文章来解决这个问题,几乎没有发现任何问题.

所以,嗯,任何人都可以帮助我吗？非常感谢..