标签: analytics

我正在开发类似于Google Analytics的网络分析,目前正在使用MongoDB.

使用MongoDB时遇到问题

写入和读取同时进行,因此在某些时候写入变慢.所以我正在寻找一个适合以下要求的数据库:

要求

1. 它应该是开源的
2. 可扩展,并且可以适应大量数据
3. 在聚合数据时提高性能
4. 基于时间的聚合
5. 实时数据处理
6. 具有Node.js和Java的驱动程序支持(客户端)

数据库应该可以使用Node.js和Java进行扩展

我使用Java保存数据,并通过Node.js获取数据

我正在尝试确定是否可以将所有Firebase Analytics数据导出到Excel电子表格,类似于您使用Google Analytics执行此操作的方式.从我能找到的唯一方法来做到这一点是与BigQuery链接然后做一些SQL语句来构建表和导出.

对我们来说不幸的是,这不起作用(由于客户预算和能力).有没有其他方法可以导出我丢失的数据？

我需要为大量网站实施定制开发的网站分析服务.这里的关键实体是:

• 网站
• 游客

每个唯一身份访问者在数据库中都会有一行,其中包含着陆页,时间,操作系统,浏览器,引荐来源,IP等信息.

我需要对此数据库进行聚合查询,例如'COUNT所有以Windows为操作系统且来自Bing.com的访客'

我有数百个网站需要跟踪,这些网站的访问者数量从每天几百到几百万不等.总的来说,我希望这个数据库每天增长大约一百万行.

我的问题是:

1)MySQL是否是一个很好的数据库用于此目的？

2)什么是一个好的架构？我正在考虑为每个网站创建一个新表.或者,如果现有表中的行数超过100万(我的假设是正确的),则可能从单个表开始,然后生成一个新表(每日).我唯一担心的是,如果一个表变得太大,SQL查询会变得非常慢.那么,每个表应该存储的最大行数是多少？此外,MySQL可以处理的表数量是否有限制.

3)是否建议对数百万行进行聚合查询？我准备等待几秒钟来获得此类查询的结果.这是一个好的做法还是有其他方法来进行聚合查询？

简而言之,我正在尝试一种设计大规模数据仓库的设置,这将很重要.如果您了解任何已发布的案例研究或报告,那就太棒了!

我想保存可用于统计的所有内容,例如引用,操作系统,浏览器等.可用的内容以及存储它的最佳方式是什么？

这仅对项目中的1个应用程序(1页)很重要,其他页面将使用一些标准分析产品,例如Google Analytics.

我看了一下django-tracking,但看起来这太过分了,因为我只想在1个视图上使用它.理想的情况是,将整个请求对象传递给TaskQue并稍后进行处理.因此,用户首先被重定向,分析处理将在幕后完成.

我想知道是否有适用于Javascript的适配器库,以便更轻松地使用Google Analytics,Kissmetrics,mixpanel,Chartbeat,gaug.es等集成工具.类似于SLF4J,但用于事件跟踪.我们正在评估不同的工具,如果可以在它们之间快速交换,它似乎会很有用.

在piwik中,是否可以根据跟踪器中的自定义变量过滤访问者图表？我想70在第一个自定义变量槽中显示所有访问的演变图.我试过这个电话

的index.php？模块= API&方法= ImageGraph.get&idSite = 1&apiModule = VisitsSummary&apiAction = GET&token_auth =匿名&graphType =演化&周期=日与日期= 2012-01-01,2012-07-10&宽度= 500&高度= 250&filter_column = custom_var_v1&filter_pattern = 70

但得到了

此图表没有数据.

当我删除filter_pattern我得到一个图表.我检查了piwik_log_visit数据库中的表,我有访问记录的值.

我在我的Android应用程序中使用EasyTracker,当应用程序处于"开发"或"测试"模式时,我需要一种方法来禁用Google Analytics跟踪(我在常量文件中有一个标志来区分).

最好的方法是什么？

谢谢!

我在Android商店和Apple商店有一个应用程序.我想将Flurry分析集成到它们中.在Flurry管理网站上,我没有选择创建一个同时针对Android和iOS的应用程序.

我是否可以获得两个Flurry SDK并在我的代码中使用相同的API密钥,以便即使配置文件设置为目标iOS,Android和iOS版本也会记录到相同的配置文件？

进行A/B(分割)测试主要有两种思路:

• 基于Javascript的解决方案,例如Optimizely,Google Analytics内容实验.
• 服务器端解决方案,如Django-AB,Splango和django-lean.(另外,自己写.)

我的理解是基于Javascript的解决方案对于"哪个颜色按钮转换得更好"非常引人注目,但对于切换整个页面布局来说并不是那么好,并且对于尝试诸如漏斗中的页面序列之类的大功能改变而言完全不可行.

这引导我走向服务器端解决方案.我并不为我自己的编码而疯狂,只有在没有其他选择时才会这样做.我试图通过改进我的网站的核心功能来增加价值,而不是通过创建更好的拆分测试框架.

我发现用于拆分测试的Django应用程序是各种未维护,未记录,记录不正确,与Django 1.5不兼容的混合.这让我感到惊讶,因为Django和Python社区似乎非常注重良好的文档.我也很惊讶我所尝试过的测试框架都没有与Django 1.5兼容 - 测试不是像Django/Python世界中的核心部分那样是在Rails中吗？

这是我发现的:

• Splango https://github.com/shimon/Splango - 与Django 1.5不兼容(尽管我发现大多数兼容性错误都很容易修复).自2010年10月以来,除了2012年8月的修复声明确保模板包含在安装中之外,大部分未被触及.由于在通过PyPI安装Splango时,模板不会包含在安装中,因此修复程序无效或未提交给PyPI.文档在很大程度上是准确的,但并不完全涵盖如何设置测试和获取报告.它告诉您如何配置模板以收集数据,但管理界面中似乎还需要执行完全未记录的其他步骤,而且我不确定我是否已正确完成它们.

• Django的瘦肉.原来在https://bitbucket.org/akoha/django-lean一直没有更新自2010年7月有一处显然是"福地"叉https://github.com/anandhenry2002/django-lean尚未改变自2012年5月起,它从原件复制而来.原始文档的不正确之处在于无法实现示例.(虽然你可能会像我一样混淆你的方式.)新版本的文档存在格式问题,使得难以在github上阅读.(这似乎是因为它是来自旧项目的未更改的文档,并且BitBucket语法在Github上不起作用.)django-lean Google Group自2012年7月以来没有收到任何消息.

• django-mini-lean https://github.com/DanAncona/django-mini-lean - 最近更新于2013年2月,但没有记录.

• Leaner - https://bitbucket.org/brianjinwright/leaner - 最后更新于2012年7月,没有文档.

• Django-AB - 最后更新于2009年5月.不是包,也不能通过PIP或PyPI安装.放置在收银台我的Django应用程序文件夹(和重命名文件夹,AB),并按照安装说明之后,我得到一个错误加载,我还没有追查进一步的模板加载器.

到目前为止Splango似乎成为最后的赢家,因为我实际上已经能够(通过手动安装模板,然后编辑他们解决的Django 1.5不兼容),以获得更或多或少工作.

任何人都可以指出我错过的任何事情吗？

我最近遇到了一个案例,当被要求解决的用例属于旅行商问题/车辆路径问题时.我能够告诉他们实际问题是什么以及问题涉及什么数学.我确实解释了如何使用Hadoop的MapReduce范例部分解决下面提到的用例.(解释了多个地图减少工作将如何解决问题)使用本书中提到的数据密集文本处理与MapReduce提到的图谱算法"由Jimmy Lin和Chris Dyer编写.

出于好奇,我在google上做了一些研究,我可以看到很多实现和研究已经针对不同风格的这个问题做了.问题我被问到有(x,y)格式提到的城市坐标,我在谷歌看到的许多解决方案考虑了一些其他因素,如单位距离,负/正测量单位等.所以简而言之,我做了研究和阅读,我更加困惑.

我的问题是针对以下用例可能的解决方案以及它们中最好的解决方案.如果一些经验丰富的人可以对此进行一些说明,那么清除我的困惑并以更好的方式理解解决方案将会有所帮助.或者,如果有人可以指导我正确的方向(这样我就不会更加困惑地探索整个解决方案的海洋)

访谈中使用的用例:

一家公司正试图寻找最佳的最佳解决方案,为12名员工提供300服务.他们想要一种技术解决方案,告诉他们如何随着业务的增长以及其他变化(如客户变更位置,新位置等)的变化来满足客户需求.

问题基本上是旅行商问题(TSP)或车辆路径问题(VSP)的一种形式.以下事情需要在这里完成.

起始坐标为(0,0),城市坐标示例如下所述.以下是在文本文件中作为输入提供的工作解决方案的坐标:

X coordinate    Y Coordinate 
420 278 
421 40 
29  178 
350 47 
298 201 
417 186 
378 134 
447 239 
42  114 
45  199 
362 195 
381 243 
429 1 
338 209 
176 9 
364 26 
326 182 
500 129 
190 51 
489 103 
368 142 
132 260 
305 200 
446 137 
375 154 
440 190 
9   118 
437 32 
383 266 

1. 什么是正确的方法来处理这个NP难题,或者如果不正确的方式可能是不同的方法与他们的利弊.

2. 由于其更多基于分析的问题可以进行某种可视化来解决这个问题.像一些图形或使用R /分析工具

如果您需要更多详细信息,或者您可以建议我可以阅读和了解更多内容,请告诉我.

提前致谢