如何使用数据仓库向Web服务器提供数据？

Question

我们将数据存储在数据仓库中,如下所示:

• 价钱
• 日期
• 产品名称(varchar(25))

我们目前只有四种产品.这种情况很少发生变化(平均每10年一次).每个工作日,都会添加四个新数据点,代表每种产品的当天价格.

在网站上,用户可以通过输入日期范围并选择一个或多个产品名称来请求此信息.Google Analytics(分析)显示该功能未得到大量使用(每周约10个用户请求).

有人建议数据仓库每天推送(SFTP)一个包含所有数据的CSV文件(目前每天有6718行,每天增加4个)到Web服务器.然后,Web服务器将从文件中读取数据,并在用户发出请求时显示该数据.

通常,推送只能每天一次,但可以通过多次推送来进行(不经常)价格修正.即使在价格修正方案中,所有数据都将在文件中传递.这种方法有什么问题？

让Web服务器根据用户请求向数据仓库发出请求会更好吗？或者这是否存在诸如网络错误或性能问题的可能性更大的问题？

Answer 1

让Web服务器根据用户请求向数据仓库发出请求会更好吗？

是的,它会的.您的数据非常少,因此无需尝试以某种方式"缓存"此数据.(除了CSV可能不是最好的方法).没有什么可以阻止您从Web服务器向数据库服务器执行这些请求.有了这么少的信息,你就不会发现性能问题,但即使它会在一切都在增长的时候,在数据库方面(索引等)还有很多东西可以帮助你在未来的100年中生存下来.这种时尚.

来自用户的请求数量(也非常小)不需要任何特殊处理,因此,直接查询也是最好的.

或者这是否存在诸如网络错误或性能问题的可能性更大的问题？

好吧,它可能,但这不符合你的CSV方法.例子和为什么你不用担心,可能是

• 与数据库服务器的连接已关闭.
  对于这两种方法来说,这是一个问题,但是每天只有一个连接,对于每天一次的方法,1-in-10000故障的变化似乎更好.但是这些问题不应该经常出现,如果有的话,你应该能够处理它们.(重试请求,向用户发送消息).这是大量网站所做的事情,所以如果我说这不会是一个问题,请相信我.另外,想想如果您的每日更新失败意味着什么？这会带来更大的问题!
• 如上所述的性能问题
  ,这是由于数据和请求的数量,而不是问题.即使它成为一个,这是一个你应该能够在不同层面捕获的问题.在数据库服务器上使用缓存系统(非CSV).在Web服务器上使用缓存系统.修复索引以阻止性能成为问题.

但:

希望将数据仓库与Web系统分离并不奇怪.如果这是一个要求,而且肯定可以,那么你可以做的最好的事情就是在另一台机器上重新创建你的仓库数据库(我刚刚辩护的那个就好了直接查询).通过执行主从系统可能会获得良好的结果

• 您的数据仓库是一个主数据库:它将所有更改发送到从属服务器,但是否则无法访问
• 您的第二个数据库(甚至在您的Web服务器上)从主服务器获取所有更新,并且是只读的.你只能查询数据
• 您的网络服务器无法连接到数据仓库,但可以连接到您的从属设备以读取信息.即使有注入黑客,也没关系,因为它是只读的.

现在您没有一个更新查询数据库的时刻(主从复制将始终保持更新),但是来自Web服务器的查询不会使您的仓库陷入危险.利润!