我们有一个架构,我们为他们的网站(互联网商家)提供每个客户类似商业智能的服务.现在,我需要在内部分析这些数据(用于算法改进,性能跟踪等等),这些数据可能非常繁重:我们有多达数百万行/客户/天,我可能想知道有多少查询我们在上个月,每周比较等等......即使不是更多,也是数十亿条目的顺序.
目前的工作方式非常标准:每日脚本扫描数据库,并生成大型CSV文件.我不喜欢这个解决方案有几个原因:
虽然我在处理大量科学数据集方面有一些经验,但就传统的RDBM而言,我是一个完全的初学者.似乎使用面向列的数据库进行分析可能是一种解决方案(分析不需要我们在app数据库中拥有的大部分数据),但我想知道有哪些其他选项可用于此类问题.
在我将Flurry库添加到我的.APK之前,我想知道他们如何提供免费的分析服务?
他们看到我从我的应用程序发回的所有数据.但他们如何通过这种方式货币化呢?应用开发者通过使用其他人的分析SDK放弃或放弃了什么?
彼得
Google Analytics通过客户在其网站上放置的客户端JavaScript来跟踪用户.正如安全社区所熟知的那样,客户端输入不可信.
所以,我想知道,是什么阻止了以下事件的发生:
我能想到的唯一可能的保护是基于HTTP头和IP地址速率限制,每个都可以通过分别篡改头和使用代理来避免.
我问,因为我正在考虑编写类似的客户端跟踪JavaScript.但考虑到所有的安全漏洞,我开始想知道为什么有人使用或信任客户端跟踪开始.
细分分析提供了一个包含秘密 API 密钥的代码片段。在我的Nuxt.js项目中,我创建了一个名为的插件segment.js,我在我的nuxt.config.js:
nuxt.config.js
plugins: [
{
src: "~/plugins/segment.js",
mode: 'client'
}
]
Run Code Online (Sandbox Code Playgroud)
在我的plugins/segment.js文件中我有我的片段:
!function(){var analytics=window.analytics=...analytics.SNIPPET_VERSION="4.13.2";
analytics.load(process.env.SEGMENT_API_SECRET);
analytics.page();
}}();
Run Code Online (Sandbox Code Playgroud)
显然我不想让我的秘密 API 密钥暴露在那里,所以我把它存储在我的.env文件中:
.env
SEGMENT_API_SECRET=FR4....GSDF3S
Run Code Online (Sandbox Code Playgroud)
问题:process.env.SEGMENT_API_SECRET因此该片段不起作用。如何从我的插件访问我的变量?plugins/segment.jsundefined.envSEGMENT_API_SECRETplugins/segment.js
我正在开发一个Web应用程序,我想执行两种统计/建模操作.
(1)根据存储在我的app(HBase集群)后端的数据进行批量分析.通常,这种操作需要定期进行,比如每晚.数据的大小可能超过可以存储在本地内存中的数据,因此可能需要调用某些支持并行计算的程序包.(2)由前端用户请求触发的动态R执行.典型用例包括小时间序列的预测.用户可以在同一时间发出请求,因此应该支持并发.性能至关重要,因为用户不能无限期地等待响应.
我的问题是:解决这两个问题的技术/ CRAN包的最佳组合是什么?我现在的想法是:
我看到RevoDeployR是一个很棒的工具,但不是开源的,不是吗?
谢谢您的帮助
我们有很多来自Cassandra存储的各种网站的用户互动数据,例如Cookie,网页访问,广告浏览,点击广告等等.我们想要进行报道.我们当前的Cassandra架构支持基本报告和查询.但是,我们还希望构建大型查询,这些查询通常涉及大型列族(包含数百万行)上的连接.
什么方法最适合这个?一种可能性是将数据提取到关系数据库(如mySQL)并在那里进行数据挖掘.替代可能是尝试使用hadoop与蜂巢或猪为此目的运行map reduce查询?我必须承认我对后者没有经验.
任何人都有一个与另一个的性能差异的经验?您是否会在实时Cassandra生产实例或备份副本上运行map reduce查询以防止查询负载影响写入性能?
正如问题所述,Google Analytics for Mobile是否为Android应用提供任何离线数据跟踪?
我正在尝试确定是否可以将所有Firebase Analytics数据导出到Excel电子表格,类似于您使用Google Analytics执行此操作的方式.从我能找到的唯一方法来做到这一点是与BigQuery链接然后做一些SQL语句来构建表和导出.
对我们来说不幸的是,这不起作用(由于客户预算和能力).有没有其他方法可以导出我丢失的数据?
我有一个游戏,我希望每次用户设置新的高分时发送事件,我检查当前分数是否>之前,如果是,我将新的高分发送到firebase.码:
Bundle bundle = new Bundle();
bundle.putLong(FirebaseAnalytics.Param.LEVEL, extras.getInt("score"));
mFirebaseAnalytics.logEvent(FirebaseAnalytics.Event.LEVEL_UP, bundle);
Run Code Online (Sandbox Code Playgroud)
这就是它在firebase控制台中的样子:图像链接
您可以看到事件按其值分组的方式.
问题是我有4种不同的模式,我想为每个模式捕获高分,所以这就是我尝试的方式:
Bundle bundle = new Bundle();
bundle.putLong(FirebaseAnalytics.Param.LEVEL, extras.getInt("score"));
mFirebaseAnalytics.logEvent("mode4level", bundle);
Run Code Online (Sandbox Code Playgroud)
这就是我在firebase控制台中获得的:图像链接
按价值分组的活动缺失,我只有活动地点,活动人口统计,每个会话的活动.
我该如何解决这个问题,缺少分析的关键部分?谢谢.
我在Xcode 8/iOS 10/Swift 3中遇到Firebase问题.试图让Firebase Analytics全部设置好.但是在iOS10中,控制台会记录来自Firebase的大量WARNING日志.当我在模拟器中运行iOS 9.3时,这些都不会发生.我按照此处所述的确切步骤操作:https://firebase.google.com/docs/analytics/ios/start
这是日志的样子:
<FIRAnalytics/INFO> Firebase Analytics v.3402000 started
<FIRAnalytics/INFO> To enable debug logging set the following application argument: -FIRAnalyticsDebugEnabled
<FIRAnalytics/INFO> Successfully created Firebase Analytics App Delegate Proxy automatically. To disable the proxy, set the flag FirebaseAppDelegateProxyEnabled to NO in the Info.plist
<FIRInstanceID/WARNING> Failed to remove checkin auth credentials from Keychain Error Domain=com.google.iid Code=-34018 "(null)"
<FIRInstanceID/WARNING> Error failed to remove all tokens from keychain Error Domain=com.google.iid Code=-34018 "(null)"
<FIRInstanceID/WARNING> FIRInstanceID AppDelegate proxy enabled, will …Run Code Online (Sandbox Code Playgroud)