标签: metrics

确保我做对了:

如果我们单独使用sklearn.metrics.log_loss,即log_loss(y_true,y_pred),它会产生一个正分数 - 分数越小,性能越好.

但是,如果我们使用'neg_log_loss'作为'cross_val_score'中的评分方案,则得分为负 - 得分越大,表现越好.

这是因为评分方案的建立与其他评分方案一致.通常,越高越好,我们否定通常的log_loss与趋势一致.它只是为了这个目的而完成的.这种理解是否正确？

[背景:对于metric.log_loss获得正分数,为'neg_los_loss'获得负分数,并且两者都引用相同的文档页面.]

如何在Keras中实施此指标？我的代码下面给出了错误的结果!请注意,我正在通过exp(x) - 1撤消先前的log(x + 1)变换,负面预测也会被剪切为0:

def rmsle_cust(y_true, y_pred):
    first_log = K.clip(K.exp(y_pred) - 1.0, 0, None)
    second_log = K.clip(K.exp(y_true) - 1.0, 0, None)
    return K.sqrt(K.mean(K.square(K.log(first_log + 1.) - K.log(second_log + 1.)), axis=-1)

为了比较,这是标准的numpy实现:

def rmsle_cust_py(y, y_pred, **kwargs):
    # undo 1 + log
    y = np.exp(y) - 1
    y_pred = np.exp(y_pred) - 1

    y_pred[y_pred < 0] = 0.0
    to_sum = [(math.log(y_pred[i] + 1) - math.log(y[i] + 1)) ** 2.0 for i,pred in enumerate(y_pred)]
    return (sum(to_sum) * (1.0/len(y))) ** 0.5

我做错了什么？谢谢!

编辑:设置axis=0 …

我会将我的代码演示给稍微非技术性的观众,我需要向他们展示我在项目中得到的东西(大约15K行代码).我试图说服他们,我已经花时间在这个项目上,而且状态很好.

这些人计划在这个产品上投入资金.所以我应该让他们相信这个应用程序值得他们花费的价格并证明我花费的时间,其次他们应该看到这需要时间,我知道我在做什么(基本上我需要赢他们的信任).

• 除了"代码行"之外,我可以使用哪些指标？(也许注释线？)
• 从.NET Projects生成报告的最佳工具(最好是免费的)是什么？

更新:

另外一种提供"项目成本 - cocomo"的方法很酷,就像这样:

发现: http ://www.cms4site.ru/utility.php？trip + cocomoii将帮助您计算项目的估计成本.

我的敏捷团队将为现有的房地产网站添加新功能. 当我们添加功能时,我们希望更好地处理网站的整体性能以及特定页面的性能.

我希望在每个页面的请求/响应基础上自动收集性能指标(例如,浏览器发送的子请求数量,存在的数量,传输的数据量以及每个请求需要多长时间履行).

Firebug目前在其网络面板中捕获此信息,但是,我还没有找到任何方法以编程方式提取此信息.

有没有人知道在页面加载后将这些信息拉出来的方法？

我们目前正在使用Selenium运行用户验收测试,我考虑将此功能添加到selenium界面,以便我们的测试可以运行并收集数据而无需启动任何其他服务.

欢迎提出所有建议,包括利用其他工具/方法收集性能指标的建议.

谢谢.

我正在寻找一个可以计算函数Big 0的java算法分析工具.理想我想将其作为构建过程的一部分,与我的其他代码度量工具一起使用.即使在谷歌搜索后,我也无法找到任何商业工具的开源.任何建议都会受到欢迎

谢谢

我正在运行Eclipse Helios(3.6)并且想知道是否有一个很好的插件可以计算java源文件中的逻辑代码行数.合乎逻辑,我的意思是

if (j > 6) {
   j--;
}

换句话说,将计算2个逻辑代码行(2个语句)而不是3个物理代码行.

我们有三个EC2实例 - 在eu-west-1区域的每个可用区(AZ)中有一个.它们使用ELB进行负载平衡.我们想要使用CloudWatch监控在负载均衡器上注册的实例数量.问题是:我真的不了解HealthyHostCount指标.

对于部署,我们希望能够在不通知的情况下取消注册单个实例(从LB中取出).因此警报将是:通知负载均衡器后面是否只有1个健康实例持续5分钟.

据我所知,HealthyHostCount(HHC)是在给定的ELB中注册的健康实例的数量,在所有AZ上平均.如果一切正常,HHC应该是1(无论在什么时间段内),因为每个AZ中有1个实例.

几天前,有人在没有重新注册实例的情况下部署,因此只有一个实例是平衡的.当我们注意到这一点时,我们创建了一个警报,当5分钟后平均HHC低于0.6时,通知我们.(如果在ELB中只注册了1个实例,则HHC在任何时间段内应平均为0.33.)但是,警报从未更改为"ALARM"状态.

当我在CloudWatch中检查HHC时,HHC是没有意义的数字(5分钟间隔的总和为现在我记得的全部).

这对我来说都是一团糟.每当我认为我理解该指标时,CloudWatch图表对我来说都是胡言乱语.

有人可以解释如何只注册一个实例时如何使用HHC来发出警报？平均HHC是走的路还是我应该使用其他指标？

我正在寻找python中的性能指标库.

我熟悉Coda Hale的指标,它是为JVM编写的,所以我想知道是否有一个等效的python(并且没有使用JVM).

简而言之,该工具的要求列表将是:

• 在执行时计算不同类型的指标.计数器,仪表,仪表,定时器,柱状图等,有一个漂亮的名单在这里
• 允许通过HTTP API轻松访问运行时数据.(我可以自己包装HTTP层,但如果它已经在它中加了一个加号)
• 特别是石墨插件或其他插件.CopperEgg会很好.或NewRelic.
• 烘焙在常见库中的检测支持,例如memcached.

到目前为止,我发现PyCounters可以完成一些工作,但不是全部工作.它有点满足我的第一个子弹(但它没有所有的度量类型,只有三个),这就是全部.

是否有更好的替代PyCounters？

谢谢

我没有找到"移动平均"功能,我想知道是否有解决方法.

我正在使用Influxdb作为后端.

我正在使用Flink 1.4.1和Beam 2.3.0,并且想知道是否可以在Flink WebUI(或任何地方)中提供指标,如Dataflow WebUI中那样？

我用过像这样的柜台:

import org.apache.beam.sdk.metrics.Counter;
import org.apache.beam.sdk.metrics.Metrics;
...
Counter elementsRead = Metrics.counter(getClass(), "elements_read");
...
elementsRead.inc();

但我无法"elements_read"在Flink WebUI中找到任何可用的计数(任务指标或累加器).我认为在BEAM-773之后这将是直截了当的.