小编Sul*_*_28的帖子

我是 Tensorflow 和深度学习的新手。我试图在我创建的 RNN 模型中查看损失如何减少超过 10 个时期，该模型是为了从包含信用卡欺诈数据的kaggle 读取数据集。我试图将交易分类为欺诈（1）而不是欺诈（0）。当我尝试运行以下代码时，我不断收到以下错误：

> 2018-07-30 14:59:33.237749: W
> tensorflow/core/kernels/queue_base.cc:277]
> _1_shuffle_batch/random_shuffle_queue: Skipping cancelled enqueue attempt with queue not closed Traceback (most recent call last):  
> File
> "/home/suleka/anaconda3/lib/python3.6/site-packages/tensorflow/python/client/session.py",
> line 1322, in _do_call
>     return fn(*args)   File "/home/suleka/anaconda3/lib/python3.6/site-packages/tensorflow/python/client/session.py",
> line 1307, in _run_fn
>     options, feed_dict, fetch_list, target_list, run_metadata)   File "/home/suleka/anaconda3/lib/python3.6/site-packages/tensorflow/python/client/session.py",
> line 1409, in _call_tf_sessionrun
>     run_metadata) tensorflow.python.framework.errors_impl.InvalidArgumentError: logits
> and labels must be broadcastable: logits_size=[1,2] labels_size=[1,24]
>    [[Node: softmax_cross_entropy_with_logits_sg =
> …

假设我正在处理一个非常大的csv文件.所以,我只能通过chunk将数据块读入内存.预期的事件流程应如下:

1)使用pandas从csv读取数据块(例如:10行).

2)颠倒数据的顺序

3)反过来将每行复制到新的csv文件.所以每个块(10行)从反向开始写入csv.

最后,csv文件应该颠倒顺序,这应该在不将整个文件加载到Windows OS的内存中的情况下完成.

我正在尝试做一个时间序列预测我需要数据从旧到最新(第一行最旧的条目).我无法将整个文件加载到内存中我正在寻找一种方法,如果可能的话,每次都可以执行每个块.

我尝试了来自kaggle train.csv的Rossmann数据集的数据集.你可以从中得到它github repo

我的尝试没有正确地将行复制到新的csv文件中.

下面显示的是我的代码:

import pandas as pd
import csv

def reverse():

    fields = ["Store","DayOfWeek","Date","Sales","Customers","Open","Promo","StateHoliday",
              "SchoolHoliday"]
    with open('processed_train.csv', mode='a') as stock_file:
        writer = csv.writer(stock_file,delimiter=',', quotechar='"', 
                                                quoting=csv.QUOTE_MINIMAL)
        writer.writerow(fields)

    for chunk in pd.read_csv("train.csv", chunksize=10):
        store_data = chunk.reindex(index=chunk.index[::-1])
        append_data_csv(store_data)

def append_data_csv(store_data):
    with open('processed_train.csv', mode='a') as store_file:
        writer = csv.writer(store_file,delimiter=',', quotechar='"',
                                           quoting=csv.QUOTE_MINIMAL)
        for index, row in store_data.iterrows():
            print(row)
            writer.writerow([row['Store'],row['DayOfWeek'],row['Date'],row['Sales'],
            row['Customers'],row['Open'],row['Promo'],
            row['StateHoliday'],row['SchoolHoliday']])

reverse()

先感谢您

我正在尝试使用 statsmodels 库中的 ARIMA 算法对时间序列数据集进行预测。这是一个股票价格数据集，当我将标准化数据提供给模型时，它会给出以下错误。

注意：这是一个单变量预测，我正在尝试预测收盘价。

ConvergenceWarning：最大似然优化未能收敛。检查 mle_retvals"检查 mle_retvals", ConvergenceWarning)

问题：这是什么原因？在提供给 ARIMA 模型时标准化数据不是一个好习惯吗？

下面显示的是我的代码：

from statsmodels.tsa.arima_model import ARIMA
import pandas as pd
from pandas.plotting import autocorrelation_plot
import matplotlib as mplt
mplt.use('agg')  # Must be before importing matplotlib.pyplot or pylab!
from matplotlib import pyplot
import numpy as np
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error
from math import sqrt


class RNNConfig():
    lag_order = 2
    degree_differencing = 1
    order_moving_avg = 0
    scaler = MinMaxScaler(feature_range=(0,1))
    test_ratio = …

我正在尝试使用Tune为 LSTM（纯 Tensorflow）执行超参数优化任务。我在hyperopt算法上遵循了他们的示例。在示例中，他们在“配置”部分中使用了以下行。

“num_samples”：10 如果 args.smoke_test 其他 1000，

文档没有解释这是什么。我无法确定这是否是一段有用的代码，或者我应该如何为我的场景更改它。所以如果我能知道这行代码的含义就太好了。

可以通过此链接找到示例 hyperopt 代码

我有一个运行 Spring Boot 微服务的容器。我在 OpenJDK 运行时环境 (IcedTea 3.12.0) (Alpine 8.212.04-r0) 下使用openjdk 版本“1.8.0_212”当我使用 - XX:+PrintFlagsFinal标志并打印我希望看到的 JVM 参数时

-XX:+UseParallelGC 为真

但令我惊讶的是，4 个收集器（-XX:+UseSerialGC、-XX:+UseParallelGC、-XX:+UseConcMarkSweepGC、–XX:+UseG1GC）中没有一个是活动的。

下面显示的是我的 dockerfile：

FROM openjdk:8-jdk-alpine
ADD  ./demo-0.0.1-SNAPSHOT.jar /usr/src/factorial/
WORKDIR /usr/src/factorial
EXPOSE 8080
CMD java $JAVA_OPTIONS -jar demo-0.0.1-SNAPSHOT.jar

我正在使用：

  docker run -d --rm --name factorialorialContainer --memory='512m' --cpus=2 -p 8080:8080 -e JAVA_OPTIONS="$(cat /Users/sulekahelmini/Documents/fyp/fyp_work/MLscripts/$3)" suleka96/factorial:latest

flags_base.txt

-Xms512m -Xmx512m -XX:+PrintFlagsFinal -version

这是 -XX:+PrintFlagsFinal 输出的一部分

     intx UnguardOnExecutionViolation               = 0                                   {product}
     bool UnlinkSymbolsALot                         = false                               {product}
     bool Use486InstrsOnly                          = false …

我正在尝试使用scikit 优化包在 LSTM 模型（纯 Tensorflow）上执行超参数优化任务。为此，我正在使用使用高斯过程(gp_minimize)的贝叶斯优化方法。可以通过此链接找到为该函数提供的演示代码。当我尝试运行我的代码时，我不断收到以下错误：

ValueError：并非所有点都在空间范围内。

我的完整代码如下所示：

import skopt
from skopt import gp_minimize, forest_minimize
from skopt.space import Real, Categorical, Integer
from skopt.plots import plot_convergence
from skopt.plots import plot_objective, plot_evaluations
from skopt.utils import use_named_args

import csv
import tensorflow as tf
import numpy as np
import  pandas as pd
from sklearn.metrics import mean_squared_error
from math import sqrt
import atexit
from time import time, strftime, localtime
from datetime import timedelta


input_size = 1
num_layers = …

我正在尝试使用 Ray Tune包对使用纯 Tensorflow 实现的 LSTM 进行超参数调整。我用的超频调度和HyperOptSearch算法这一点，我也使用可训练类的方法。当我尝试运行它时，出现以下错误：

类型错误：ap_uniform_sampler() 缺少 1 个必需的位置参数：“高”

下面显示的是堆栈跟踪：

FutureWarning：不推荐将 issubdtype 的第二个参数从floatto转换np.floating。将来，它将被视为np.float64 == np.dtype(float).type. from ._conv import register_converters as _register_converters Process STDOUT 和 STDERR 被重定向到 /tmp/ray/session_2018-12-19_09-43-46_5469/logs。等待 127.0.0.1:14332 处的 redis 服务器响应... 等待 127.0.0.1:25158 处的 redis 服务器响应... 使用 /dev/shm 启动具有 3.220188364 GB 内存的 Plasma 对象存储。无法启动 UI，您可能需要运行“pip install jupyter”。== 状态 == 使用 HyperBand：num_stopped=0 total_brackets=0 第 0 轮：请求的资源：0/4 个 CPU，0/0 个 GPU 此节点上的内存使用量：3.7/8.1 GB

Traceback (most recent call last):   
File …

我在 docker 容器中有一个微服务（springboot）。我还传递了一长串 JVM 标志，以便程序在该 VM 环境中运行以测试每个标志组合的延迟值。

我正在使用此命令启动容器：

docker run --rm --name factorialorialContainer -p 8080:8080 -e JAVA_OPTIONS="$(cat /Users/sulekahelmini/Documents/fyp/fyp_work/MLscripts/flags.txt)" suleka96/factorial:latest

flags.txt 看起来像这样：

-XX:-ResizePLAB -XX:+ResizeOldPLAB -XX:+AlwaysPreTouch -XX:-ParallelRefProcEnabled -XX:-ParallelRefProcBalancingEnabled -XX:-UseTLAB -XX:-ResizeTLAB -XX:+ZeroTLAB -XX:+FastTLABRefill -XX:-UseAutoGCSelectPolicy -XX:-UseAdaptiveSizePolicy -XX:+UsePSAdaptiveSurvivorSizePolicy -XX:-UseAdaptiveGenerationSizePolicyAtMinorCollection -XX:+UseAdaptiveGenerationSizePolicyAtMajorCollection -XX:-UseAdaptiveSizePolicyWithSystemGC -XX:+UseAdaptiveGCBoundary -XX:+UseAdaptiveSizePolicy4BXX1BXXYouprintSizePolicy5PLA:1OXX3Go GCTaskTimeStampEntries=255 -XX:TargetPLABWastePct=5 -XX:PLABWeight=73 -XX:OldPLABWeight=21 -XX:MarkStackSize=5927008 -XX:MarkStackSizeMax=579749070 -XX:RefDiscoveryPolicy=1 -XX:InitiatingHeapSizeR 0 -XX:MaxRAMFraction=3 -XX:MinRAMFraction=3 -XX:InitialRAMFraction=74 -XX:AutoGCSelectPauseMillis=2934 -XX:AdaptiveSizeThroughPutPolicy=0 -XX:AdaptiveSizePausePolicy=0 -XX:AdaptiveSizePolicyInitializingSteps=24 -XX:AdaptiveSizePolicyOutputInterval=4060 -XX:AdaptiveSizePolicyWeight=11 -XX:AdaptiveTimeWeight=60motPadding=30 3 -XX:SurvivorPadding=1 -XX:ThresholdTolerance=11 -XX:AdaptiveSizePolicyCollectionCostMargin=68 -XX:YoungGenerationSizeIncrement=28 -XX:YoungGenerationSizeSupplement=81 -XX:YoungGenerationSizeSupplementDecay=9 -XX:TenuredGeneration48SupplementDecay=9-XX:TenuredGeneration48Supplement=GenerationSizeIncrement=68 -XX:YoungGenerationSizeIncrement=28 XX:TenuredGenerationSizeSupplementDecay=2 -XX:MaxGCPauseMillis=16157174462788231168 -XX:GCPauseIntervalMillis=3009 -XX:GCTimeRatio=77 -XX:AdaptiveSizeDecrementScaleFactor=4 -XX:AdaptiveSizeMajorSvivorRXX:TimeScaleMinatioSvivoRXX:BaseFootPrintEstimate=463170010 -XX:GCHeapFreeLimit=4 -XX:ProcessDistributionStride=4 -Xms338224019 -Xmx1103493303

当我运行上述 docker 命令时，出现以下错误：

# …

我正在使用Rossmann 数据集进行多变量预测。我现在需要使用 RMSPE 指标来评估我的模型。我在这里看到了相关公式。但我不确定如何使用 numpy 有效地实现这一点。任何帮助深表感谢。

我是新来的响应者，我正在尝试将数据从父组件“仪表板”发送到子组件“ AddData”。我知道正常执行此操作的语法，但是当孩子通过Route连接到父级时，执行此操作的语法是什么？

下面显示的是我的Dashboard.jsx：

import {withStyles} from '@material-ui/core'
import CssBaseline  from '@material-ui/core/CssBaseline'
import PropTypes    from 'prop-types'
import * as React   from 'react'
import {Route}      from 'react-router-dom'
import {Home}       from './scenes/home'
import {A}        from './scenes/a'
import {B}        from './scenes/b'
import {AddData}   from '../adddata'
import {VisualizeData} from '../visualizedata'
import {Header}     from './components/header'
import {Sidebar}    from './components/sidebar'
import styles       from './Dashboard.styles'

class Dashboard extends React.Component {

  constructor() {
    super();

    this.state = {
      trainPercentageDashboard : "null",
      featuresDashboard : [],
      labelsDashboard :  [],
    }
  }

  render() …