小编Cro*_*wie的帖子

是否有可用的库或代码片段,可以使用两个字符串并返回两个字符串之间的精确或近似中点字符串？

优选地,代码将是Python.

背景:

这似乎是表面上的一个简单问题,但我有点挣扎:

• 显然,"A"和"C"之间的中点字符串将是"B".
• 使用base64编码,"A"和"B"之间的中点字符串可能是"Ag"
• 使用UTF-8编码,我不确定有效的中点是什么,因为中间字符似乎是一个控制字符: U+0088 c2 88 <control>

实际应用:

我问的原因是因为我希望编写map-reduce类型算法来读取数据库中的所有条目并处理它们.数据库中的主键是UTF-8编码的字符串,具有随机的字符分布.我们使用的数据库是Cassandra.

希望从数据库中获得最低密钥和最高密钥,然后通过找到中点将其分成两个范围,然后通过查找每个中间点将这两个范围分成两个较小的部分,直到我有几千个部分,然后我可以异步读取每个部分.

如果字符串是base-16编码的示例:(某些中点是近似值):

Starting highest and lowest keys:  '000'                'FFF'
                                   /   \              /       \
                              '000'     '8'         '8'       'FFF'
                              /   \     /  \       /  \       /   \
Result:                  '000'    '4' '4'  '8'   '8'  'B8'  'B8'  'FFF'
(After 3 levels of recursion)

首先,我对大数据和Hadoop世界相对较新,我刚刚开始尝试使用Hortonworks Sandbox(猪和Hive到目前为止).我想知道在哪些情况下我可以使用上面提到的Hadoop,Hive,Pig,HBase和Cassandra的工具？

在我的沙盒环境中,文件只有9MB Hive和Pig的响应时间为几秒到几分钟.这显然在某些情况下不可用,例如Web应用程序(除非它是其他东西,例如我的虚拟机设置).

我对正确用法的猜测是:

• Hadoop:只是其余的技术基础,只有很少的用例可以直接使用
• 蜂巢或猪:用于每小时或每天运行一次的分析过程
• HBase或Cassandra:用于需要100ms或更短响应时间的实时应用程序(例如Web应用程序)

另外,何时使用HBase而不是何时使用Cassandra？

谢谢!

我正在寻找具有以下要求的API

1. 它使用简单,简洁.它并不臃肿.
2. 使用Spring的做事方式,或者至少很容易使它适用于Spring
3. 有一个Maven存储库,最好它已经存在于主存储库中
4. 经过生产测试,这意味着相当数量的人在生产应用程序中使用它.

救命？谢谢!

我无法在我的Eclipse安装中完成Subclipse的安装.

首先是一些背景:我在64位Ubuntu中安装了Eclipse(在VM中).我试图安装Subclipse但是在最后的屏幕上,完成的按钮是灰色的(显然这是一个已知的未解决的问题).我取消了安装.

问题是当我尝试再次添加插件时,它说它是一个重复的位置(http://subclipse.tigris.org/update_1.8.x).所以我试着在安装列表中搜索插件(帮助 - >关于eclipse平台 - >安装细节),但我无法在任何地方找到Subclipse.

我试过完全卸载Eclipse.没有解决问题.我不想在这个VM中完全重新安装Ubuntu.有什么方法可以完全清除任何和所有配置,所以我可以从一个方块开始？

你会对Cassandra使用的分布式计算概念/数据库内部推荐什么书？

本Cassandra术语表列出了概念和定义列表

谢谢!

我正在构建一个具有以下特征的数据库:

1. 每行具有可变列数的无架构数据库.
2. 数以万计的记录和数十列.
3. 每天数百万次查询.
4. 每天有数千人写作.
5. 查询将过滤几个列(不仅是键).

我正在考虑按比例建造的Cassandra.

我的问题是:

1. 在这种情况下,我需要水平缩放吗？
2. Cassandra是否支持使用几个键来指向相同的列族？

编辑

我想确保我的观点是正确的.所以,下面的例子说明了我从你的答案得到的:

所以,如果我们有以下列系列(它包含一些商店产品及其详细信息)

products // column-family name
{
x = {   "id":"x", // this is unique id for the row. 
    "name":"Laptop",
    "screen":"15 inch",
    "OS":"Windows"}
y = {   "id":"y", // this is unique id for the row. 
    "name":"Laptop",
    "screen":"17 inch"}
z = {   "id":"z", // this is unique id for the row. 
    "name":"Printer",
    "page per minute":"20 pages"}
}

并且,我们要添加"name"搜索参数,我们将使用不同的行键创建另一个CF副本,如下所示:

products
{
"x:name:Laptop"  = {    "id":"x", 
            "name":"Laptop",
            "screen":"15 inch",
            "OS":"Windows"}
"y:name:Laptop"  = …

我需要一些帮助来改善Cassandra的读取性能.随着列族的大小增加,我担心读取性能的下降.我们在单节点Cassandra上有以下统计数据.

操作系统: Linux - CentOS版本5.4(最终
版)Cassandra版本: apache-cassandra-1.1.0
Java版本: "1.6.0_14"Java(TM)SE运行时环境(版本1.6.0_14-b08)Java HotSpot(TM)64 -Bit Server VM(build 14.0-b16,混合模式)

Cassandra配置:(cassandra.yaml)

• rpc_server_type:hsha
• disk_access_mode:mmap
• concurrent_reads:64
• concurrent_writes:32

平台: Amazon-ec2/Rightscale m1.Xlarge实例,带有4个临时磁盘和raid0.(15 GB总内存,4个虚拟内核,2个ECU,总ECU = 8)

实验配置: 我尝试用GC做一些实验

Cassandra配置:
10 GB RAM分配给Cassandra Heap,3500MB是堆新大小.

JVM配置:
JVM_OPTS ="$ JVM_OPTS -XX:+ UseParNewGC"
JVM_OPTS ="$ JVM_OPTS -XX:+ UseConcMarkSweepGC"
JVM_OPTS ="$ JVM_OPTS -XX:+ CMSParallelRemarkEnabled"
JVM_OPTS ="$ JVM_OPTS -XX:SurvivorRatio = 1000"
JVM_OPTS = "$ JVM_OPTS -XX:MaxTenuringThreshold = 0"
JVM_OPTS ="$ JVM_OPTS -XX:CMSInitiatingOccupancyFraction = 40"
JVM_OPTS ="$ JVM_OPTS -XX:+ UseCMSInitiatingOccupancyOnly -XX:+ UseCompressedOops"

读取请求每秒208到240
写入请求每秒18到28个 …

我们正在使用Hazelcast 2.3.1,在我们的hazelcast.xml配置文件中,我们使用写后面的Hazelcast IMap:

 <map name="HazelcastObjectOperations.objectMap">
         <backup-count>1</backup-count>
         <map-store enabled="true">
             <class-name>persister.HazelcastObjectPersister</class-name>
             <write-delay-seconds>10</write-delay-seconds>
         </map-store>
 </map>
 <properties>
      <property name="hazelcast.map.cleanup.delay.seconds">5</property>
 </properties>

我们有两节课

1. HazelcastObjectOperation 它保存地图并用于将对象放入其中.
2. HazelcastObjectPersister扩展MapStore用于在Hazelcast调用时持久化对象storeAll().

    public class HazelcastObjectOperation
    {

         protected final IMap<Long, MyHzcObj> objectMap;
         private final HazelcastInstance instance;

         public HazelcastObjectOperation()
         {
            this.instance = Hazelcast.getDefaultInstance();
            this.objectMap = this.instance.getMap(
                               "HazelcastObjectOperations.objectMap" );
         }

         public void save( final MyHzcObj object )
         {
            long start = System.currentTimeMillis();
            IdGenerator generator = Hazelcast.getIdGenerator("generator");
            this.objectMap.put( generator.newId(), object );
            long end = System.currentTimeMillis();
         }
    }

问题是当Hazelcast运行此映射并获取应该存储在persister类的storeAll方法中的对象时,映射会被锁定几秒钟,因此放入此映射会持续一次.这个问题有什么解决方案吗？

在我之前的工作中,我遇到了一个众所周知的问题,即无法阻止用户在退出后使用后退按钮导航网站.我的技术包括Spring,JavaScript以及Java AJAX库ZK的Mobile模块.除了使用后退按钮导航外,授权访问也起作用.我无法再访问应用程序代码.该应用程序是移动应用程序,我不是原作者.

我尝试了以下常见解决方案:

• 试过添加一个WebContentInterceptor(按照此处的说明)
• 使用此过滤器问题和关于插入其他过滤器的答案的组合定义了我自己的过滤器.调试期间不执行过滤器代码
• 添加RequestMappingHandlerAdapter到设置cacheSeconds为0

我们在以下定义中t2-spring-security-context.xml:

<http auto-config="true">
    <intercept-url pattern="/mobile-index*" access="ROLE_ADMIN"/>
    <intercept-url pattern="/t2-metrics*" access="ROLE_ADMIN"/>
    <intercept-url pattern="/t2-monitor*" access="ROLE_ADMIN"/>
    <form-login login-page="/login.jsp" authentication-failure-url="/loginerror.jsp"
                default-target-url="/mobile-index.jsp"/>
    <logout logout-success-url="/login.jsp" invalidate-session="true"/>

</http>

其他有关我们实施的细节:

• @RequestMapping在注释为的类上使用JavaScript 调用Java方法@Controller(IE t2-metrics.jsp具有JS以触发URL匹配请求映射)
• 尝试向security:global-method-security方法添加应用程序上下文和角色注释
• 使用scriptlet代码禁用对JSP页面的缓存,并且没有做任何事情.此外,在IntelliJ中调试应用程序,并且我的定义过滤器中的调试点未被命中.
• 一旦他们使用后退按钮返回应用程序,用户仍然可以在应用程序中导航.

我唯一的想法是,问题涉及我们的客户端代码(JavaScript)或库(与Spring安全性的错误集成),因为调试没有达到Spring Security过滤器链.

在我的应用程序中,我使用了很多CSV文件,我必须阅读它们并根据它们构建列表.我想发现一个简单的方法来做到这一点.你知道任何简单的框架,它没有使用配置文件的数量等吗？

例如,我有一个人类:

public class Person {
    String name;
    String surname;

    double shoeSize;
    boolean sex; // true: male, false:female

    public Person() {
    }

    public String getName() {
            return name;
    }

    public void setName(String name) {
            this.name = name;
    }

    public String getSurname() {
            return surname;
    }

    public void setSurname(String surname) {
            this.surname = surname;
    }

    public double getShoeSize() {
            return shoeSize;
    }

    public void setShoeSize(double shoeSize) {
            this.shoeSize = shoeSize;
    }

    public boolean isSe) {
            return sex;
    }

    public void setSeboolean …