小编gue*_*ues的帖子

Scrapy记录级别更改

我想从我的指令码开始scrapy蜘蛛如图这里

logging.basicConfig(
    filename='log.txt',
    format='%(levelname)s: %(message)s',
    level=logging.CRITICAL
)
configure_logging(install_root_handler=False)
process = CrawlerProcess(get_project_settings())

process.crawl('1740')
process.start() # the script will block here until the crawling is finished
Run Code Online (Sandbox Code Playgroud)

我想配置我的蜘蛛日志记录级别,但即使我没有安装root logger处理程序并使用logging.basicConfig方法配置我的基本配置,它也不遵守确定的级别.

INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
INFO: Enabled item pipelines:
['collector.pipelines.CollectorPipeline']
INFO: Spider opened
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
Run Code Online (Sandbox Code Playgroud)

它遵循在basicConfig中确定的格式和文件名,但它不使用日志记录级别.我不确定这个地方以外的日志记录级别.

注意:没有任何其他地方我导入日志记录或更改日志记录级别.

logging scrapy python-3.x

8
推荐指数
1
解决办法
3471
查看次数

添加新的HighChart系列

在此代码javascrip给出一个错误

$.each(JSON, function(i, array) {                        
    chart.series[i].name = array.teamName;
    chart.series[i].setData(array.teamPower, true);
});
Run Code Online (Sandbox Code Playgroud)

我必须定义chart.series [i]因为它说"无法设置未定义的属性'名称"但我找不到方法来执行此操作.

因为它与requestData一起运行所以它是在图表确定与选项之后

function showGraph() {  
    chart = new Highcharts.Chart(option);       
}
Run Code Online (Sandbox Code Playgroud)
chart: {
    renderTo: 'graphicShow',
    type: 'spline',
    events: {
        load: requestData
    }
}
Run Code Online (Sandbox Code Playgroud)

...在选项中......

title: {
    text: 'Power %'
},
series: []
Run Code Online (Sandbox Code Playgroud)

...

arrays live series highcharts

6
推荐指数
1
解决办法
3万
查看次数

Tensorflow中的多标签分类器

我想用TensorFlow开发一个多标签分类器,我试图意味着存在多个包含多个类的标签.为了说明你可以想象这样的情况:

  • label-1类:灯光下雨,下雨,局部下雨,没有下雨
  • 标签-2类:晴天,部分多云,多云,非常多云.

我想用神经网络对这两个标签进行分类.现在,我为每个(label-1,label-2)对类使用了不同的类标签.这意味着我有4 x 4 = 16个不同的标签.

通过训练我的模型

目前的损失

cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction), reduction_indices=[1])) 

# prediction is sofmaxed
loss = cross_entropy + regul * schema['regul_ratio'] # regul things is for regularization 
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
Run Code Online (Sandbox Code Playgroud)

但是我认为多标签培训在这种情况下会更好用.

  • 我的功能将是[n_samples,n_features]
  • 我的标签是[n_samples,n_classes,2]

[x1,x2,x3,x4 ...]#个特征的n_samples

[[0,0,0,1],[0,0,1,0]]的n_samples#没有下雨和阴天

如何制作具有张量流的softmax概率分布预测器.有没有像这样的多标签问题的工作示例.我的损失将如何变得如此?

python classification machine-learning multilabel-classification tensorflow

4
推荐指数
1
解决办法
3465
查看次数