标签: analytics

数据库分析的体系结构

我们有一个架构,我们为他们的网站(互联网商家)提供每个客户类似商业智能的服务.现在,我需要在内部分析这些数据(用于算法改进,性能跟踪等等),这些数据可能非常繁重:我们有多达数百万行/客户/天,我可能想知道有多少查询我们在上个月,每周比较等等......即使不是更多,也是数十亿条目的顺序.

目前的工作方式非常标准:每日脚本扫描数据库,并生成大型CSV文件.我不喜欢这个解决方案有几个原因:

  • 对于那些类型的脚本而言,它们属于一次写入而从未触及的类别
  • "实时"跟踪事物是必要的(我们有单独的工具集来查询ATM的最后几个小时).
  • 这很慢而且非"敏捷"

虽然我在处理大量科学数据集方面有一些经验,但就传统的RDBM而言,我是一个完全的初学者.似乎使用面向列的数据库进行分析可能是一种解决方案(分析不需要我们在app数据库中拥有的大部分数据),但我想知道有哪些其他选项可用于此类问题.

database analytics scalability data-mining

14
推荐指数
1
解决办法
4347
查看次数

Flurry如何提供免费的分析服务?Android的

在我将Flurry库添加到我的.APK之前,我想知道他们如何提供免费的分析服务?

他们看到我从我的应用程序发回的所有数据.但他们如何通过这种方式货币化呢?应用开发者通过使用其他人的分析SDK放弃或放弃了什么?

彼得

android analytics flurry

14
推荐指数
1
解决办法
8587
查看次数

Google Analytics和其他客户端分析工具的安全性?

Google Analytics通过客户在其网站上放置的客户端JavaScript来跟踪用户.正如安全社区所熟知的那样,客户端输入不可信.

所以,我想知道,是什么阻止了以下事件的发生:

  • 恶意用户伪造请求以向网站所有者提供误导性信息.例如,他们可能会让他们认为大多数人都会访问页面A而不是页面B,这会影响他们对网络流量的全面分析性理解
  • 只是让网站认为他们获得了比他们更多的流量的恶意用户,让他们认为他们比他们有更多的牵引力.当交通量在稍后开始下坡时,这对投资者来说真的很糟糕.
  • 恶意用户只是淹没日志,无法进行任何类型的分析.

我能想到的唯一可能的保护是基于HTTP头和IP地址速率限制,每个都可以通过分别篡改头和使用代理来避免.

我问,因为我正在考虑编写类似的客户端跟踪JavaScript.但考虑到所有的安全漏洞,我开始想知道为什么有人使用或信任客户端跟踪开始.

javascript security analytics google-analytics http

14
推荐指数
1
解决办法
713
查看次数

如何访问 Nuxt 插件中的 .env 变量?

细分分析提供了一个包含秘密 API 密钥的代码片段。在我的Nuxt.js项目中,我创建了一个名为的插件segment.js,我在我的nuxt.config.js

nuxt.config.js

plugins: [
  {
    src: "~/plugins/segment.js",
    mode: 'client'
  }
]
Run Code Online (Sandbox Code Playgroud)

在我的plugins/segment.js文件中我有我的片段:

!function(){var analytics=window.analytics=...analytics.SNIPPET_VERSION="4.13.2";
analytics.load(process.env.SEGMENT_API_SECRET);
analytics.page();
}}();
Run Code Online (Sandbox Code Playgroud)

显然我不想让我的秘密 API 密钥暴露在那里,所以我把它存储在我的.env文件中:

.env

SEGMENT_API_SECRET=FR4....GSDF3S
Run Code Online (Sandbox Code Playgroud)

问题:process.env.SEGMENT_API_SECRET因此该片段不起作用。如何从我的插件访问我的变量?plugins/segment.jsundefined.envSEGMENT_API_SECRETplugins/segment.js

analytics environment-variables segment vue.js nuxt.js

14
推荐指数
2
解决办法
9456
查看次数

如何在Web应用程序中集成R.

我正在开发一个Web应用程序,我想执行两种统计/建模操作.

(1)根据存储在我的app(HBase集群)后端的数据进行批量分析.通常,这种操作需要定期进行,比如每晚.数据的大小可能超过可以存储在本地内存中的数据,因此可能需要调用某些支持并行计算的程序包.(2)由前端用户请求触发的动态R执行.典型用例包括小时间序列的预测.用户可以在同一时间发出请求,因此应该支持并发.性能至关重要,因为用户不能无限期地等待响应.

我的问题是:解决这两个问题的技术/ CRAN包的最佳组合是什么?我现在的想法是:

  • 将Rserver与Ruby客户端结合使用.或者,我正在考虑用Java编写自己的服务器并使用现有的R/Java绑定.
  • 使用RHadoop处理大数据集上的作业.

我看到RevoDeployR是一个很棒的工具,但不是开源的,不是吗?

谢谢您的帮助

analytics web-services r

13
推荐指数
1
解决办法
1万
查看次数

坐在Cassandra上的数据分析和挖掘

我们有很多来自Cassandra存储的各种网站的用户互动数据,例如Cookie,网页访问,广告浏览,点击广告等等.我们想要进行报道.我们当前的Cassandra架构支持基本报告和查询.但是,我们还希望构建大型查询,这些查询通常涉及大型列族(包含数百万行)上的连接.

什么方法最适合这个?一种可能性是将数据提取到关系数据库(如mySQL)并在那里进行数据挖掘.替代可能是尝试使用hadoop与蜂巢或猪为此目的运行map reduce查询?我必须承认我对后者没有经验.

任何人都有一个与另一个的性能差异的经验?您是否会在实时Cassandra生产实例或备份副本上运行map reduce查询以防止查询负载影响写入性能?

analytics hadoop mapreduce cassandra

13
推荐指数
2
解决办法
8055
查看次数

Google Analytics for Mobile是否为Android应用提供任何离线数据跟踪?

正如问题所述,Google Analytics for Mobile是否为Android应用提供任何离线数据跟踪?

mobile android analytics google-analytics

13
推荐指数
1
解决办法
2937
查看次数

如何导出Firebase分析数据

我正在尝试确定是否可以将所有Firebase Analytics数据导出到Excel电子表格,类似于您使用Google Analytics执行此操作的方式.从我能找到的唯一方法来做到这一点是与BigQuery链接然后做一些SQL语句来构建表和导出.

对我们来说不幸的是,这不起作用(由于客户预算和能力).有没有其他方法可以导出我丢失的数据?

analytics firebase firebase-analytics

13
推荐指数
1
解决办法
1万
查看次数

Firebase分析事件不显示价值

我有一个游戏,我希望每次用户设置新的高分时发送事件,我检查当前分数是否>之前,如果是,我将新的高分发送到firebase.码:

Bundle bundle = new Bundle();
bundle.putLong(FirebaseAnalytics.Param.LEVEL, extras.getInt("score"));
mFirebaseAnalytics.logEvent(FirebaseAnalytics.Event.LEVEL_UP, bundle);
Run Code Online (Sandbox Code Playgroud)

这就是它在firebase控制台中的样子:图像链接

您可以看到事件按其值分组的方式.

问题是我有4种不同的模式,我想为每个模式捕获高分,所以这就是我尝试的方式:

Bundle bundle = new Bundle();
bundle.putLong(FirebaseAnalytics.Param.LEVEL, extras.getInt("score")); 
mFirebaseAnalytics.logEvent("mode4level", bundle);
Run Code Online (Sandbox Code Playgroud)

这就是我在firebase控制台中获得的:图像链接

按价值分组的活动缺失,我只有活动地点,活动人口统计,每个会话的活动.

我该如何解决这个问题,缺少分析的关键部分?谢谢.

events android analytics firebase firebase-analytics

13
推荐指数
2
解决办法
2万
查看次数

一个充满<FIRInstanceID/WARNING>的控制台 - Xcode 8/iOS10

我在Xcode 8/iOS 10/Swift 3中遇到Firebase问题.试图让Firebase Analytics全部设置好.但是在iOS10中,控制台会记录来自Firebase的大量WARNING日志.当我在模拟器中运行iOS 9.3时,这些都不会发生.我按照此处所述的确切步骤操作:https://firebase.google.com/docs/analytics/ios/start

这是日志的样子:

<FIRAnalytics/INFO> Firebase Analytics v.3402000 started
<FIRAnalytics/INFO> To enable debug logging set the following application argument: -FIRAnalyticsDebugEnabled
<FIRAnalytics/INFO> Successfully created Firebase Analytics App Delegate Proxy automatically. To disable the proxy, set the flag FirebaseAppDelegateProxyEnabled to NO in the Info.plist
<FIRInstanceID/WARNING> Failed to remove checkin auth credentials from Keychain Error Domain=com.google.iid Code=-34018 "(null)"
<FIRInstanceID/WARNING> Error failed to remove all tokens from keychain Error Domain=com.google.iid Code=-34018 "(null)"
<FIRInstanceID/WARNING> FIRInstanceID AppDelegate proxy enabled, will …
Run Code Online (Sandbox Code Playgroud)

analytics ios firebase swift3 ios10

13
推荐指数
1
解决办法
4488
查看次数