我在AWS中有一些lambda函数（node.js），它将连接到postgresql并执行一些查询并返回结果，所以我试图为数据库制作一个配置文件，其中包含用户，密码，数据库名称，端口...那么向所有 lambda 函数共享通用配置文件的最佳方式是什么？
在一台物理机器上运行多个Solr实例是个好主意吗？当我阅读这篇好文章中的一篇评论时,我认为他们在一台机器上运行了2个Solr实例.我有2台可用的机器,并希望将Solr索引分成5个碎片.你怎么看？
对于满容量,我们需要40个服务器,总共80个索引分片.单个分片需要最多20 GB的磁盘空间.目前,我们正在运行具有30个服务器和60个索引分片的群集.
我已经部署了zeppelin 0.6并在Jdbc解释器下配置了hive.
尝试执行
%hive
show databases
抛出:
org.apache.hive.jdbc.HiveDriver类java.lang.ClassNotFoundException java.net.URLClassLoader.findClass(URLClassLoader.java:381)java.lang.ClassLoader.loadClass(ClassLoader.java:424)sun.misc.Launcher $ AppClassLoader .loadClass(Launcher.java:331)java.lang.ClassLoader.loadClass(ClassLoader.java:357)java.lang.Class.forName0(Native Method)java.lang.Class.forName(Class.java:264)org. apache.zeppelin.jdbc.JDBCInterpreter.getConnection(JDBCInterpreter.java:220)org.apache.zeppelin.jdbc.JDBCInterpreter.getStatement(JDBCInterpreter.java:233)org.apache.zeppelin.jdbc.JDBCInterpreter.executeSql(JDBCInterpreter.java: 292)org.apache.zeppelin.jdbc.JDBCInterpreter.interpret(JDBCInterpreter.java:398)org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:94)org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer $ InterpretJob.jobRun(RemoteInterpreterServer.java:383)org.apache.zeppelin.scheduler.Job.run(Job.java:176)org.apache.zeppelin.scheduler.ParallelSchedu ler $ JobRunner.run(ParallelScheduler.java:162)java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511)java.util.concurrent.FutureTask.run(FutureTask.java:266)java.util. concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201(ScheduledThreadPoolExecutor.java:180)java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)java .util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:617)java.lang.Thread.run(Thread.java:745)
我只是为当前项目评估一些noSQL解决方案.目前引起我注意的不同系统
最后一个在我的评价中更为搁置,因为他们写道
它仍然是一个新系统,它有粗糙的边缘,错误的错误信息,可能还有很多未捕获的错误.如果您找到其中一个,请告诉我们,以便我们解决.
我正在寻找一个稳定的解决方案.另一件事是我需要一个良好的Java支持.对于用Erlang编写的cloudDB,存在一些客户端库,ektorp似乎是最好的选择.这里的问题是,在某种程度上,在我看来,ektorp并没有如此大量使用.如果我查看下载部分是约.400次下载.好吧,大多数人都会通过maven依赖来使用它,但400仍然让我感到惊讶.关于couchDB Java库有一个旧的Stackoverflow问题,但这也推荐了ektorp.现在是更好的解决方案吗？
目前,Cassandra对我来说是最稳定和最成熟的选择,但cloudDB感觉如此简单和整洁,但它缺乏某种Java工具来访问它,或者编写自己的客户端来访问cloudDB是否有意义？
目前我有一个完全基于Solr的系统.这意味着,我将所有数据存储在Solr中(使用SolrJ),而不涉及其他数据存储.问题是,我遇到了一些性能问题.我想,可能有意义的是存储在MySQL中,然后将数据与Solr同步,例如DataImportHandler.因此,我对Solr索引和MySQL中的主要写入操作进行了读取操作,有时在与Solr同步时只进行Solr-Writing操作.
问题是,我希望存储数亿个文档,如果MySQL/Solr有意义的话,我现在还不知道.
还有其他更好的解决方案吗 也许Master-Solr写作和Solr-Slaves阅读？
更新:我忘了说的是,在schema.xml更改的情况下,"在MySQL中存储数据"解决方案在我看来可能很有用,因为那时我可以重新提交所有数据而不关心Solr的自我存储的数据.
我有一个python代码,使用Twitter Streaming API实时发送推文.我已经将输出存储到json文件中,当新的推文到达时,它继续动态更新.但是,我想将这个json保存到亚马逊s3,我可以使用亚马逊lambda服务来触发事件.有人建议我一个方法解决这个问题？