小编She*_*jie的帖子

hadoop-core.jar中不存在org.apache.hadoop.conf.Configuration

我正在用Java编写HBase客户端.coz的第一行看起来像这样:

import org.apache.hadoop.conf.Configuration;

我正在使用Cloudera CDH4.3.1,所以包版本应该是:

hadoop-2.0.0+1367
hbase-0.94.6+106
Run Code Online (Sandbox Code Playgroud)

== 更新 ==

我的pom.xml看起来像这样:

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-core</artifactId>
  <version>2.0.0-mr1-cdh4.3.1</version>
</dependency>


<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase</artifactId>
  <version>0.94.6-cdh4.3.1</version>
</dependency>
Run Code Online (Sandbox Code Playgroud)

但不知何故,在hadoop-core.jar中,我没有看到org.apache.hadoop.conf.Configuration的存在.因此,Java显然无法解决导入问题.

hadoop hbase maven cloudera

3
推荐指数
1
解决办法
2万
查看次数

python - 在unitest中进行I/O是不好的做法

我有一些unitest做的事情:

_files = ('test1.txt','test2.txt'......)
setUp(){
    //create test files

    for f in _files:
        f = open(f, 'w')
        f.close()
}
tearDown(){
    for f in _files:
    if os.path.exists(f):
        os.remove(f)
}
Run Code Online (Sandbox Code Playgroud)

但是有些人告诉我,在unitest中进行I/O并不是一个好习惯,这是真的吗?

python unit-testing

2
推荐指数
1
解决办法
175
查看次数

.out 和 .log 文件有什么区别

我从来没有费心去发现这一点。让我们看看我有一个名为“myapp”的 java Web 应用程序正在运行 myapp.out 和 myapp.log 文件之间有什么区别?

.log文件可以根据log4j.properties设置进行轮换,那么.out文件呢?我还需要为其设置轮换政策吗?

java logging log4j

2
推荐指数
1
解决办法
6367
查看次数

nmap显示在针对除localhost之外的ip运行时打开的端口较少

我在vmware工作站有一个虚拟机,它是桥接网络和DHCP.DHCP服务器分配的IP为10.21.245.22.这是我的/ etc/hosts看起来像:

127.0.0.1 hadoop-namenode-01 localhost

我在盒子本身上运行命令A和B.

命令A:

root @ hadoop-namenode-01:〜#nmap -sT -sU -p- localhost

Starting Nmap 5.21 ( http://nmap.org ) at 2012-08-10 09:32 PDT
Nmap scan report for localhost (127.0.0.1)
Host is up (0.00029s latency).
rDNS record for 127.0.0.1: hadoop-namenode-01
Not shown: 131058 closed ports
PORT      STATE         SERVICE
22/tcp    open          ssh
53/tcp    open          domain
631/tcp   open          ipp
8020/tcp  open          unknown
9000/tcp  open          cslistener
9001/tcp  open          tor-orport
50070/tcp open          unknown
53/udp    open|filtered domain
68/udp    open|filtered dhcpc
123/udp   open          ntp
5353/udp  open|filtered …
Run Code Online (Sandbox Code Playgroud)

linux port nmap

2
推荐指数
1
解决办法
2170
查看次数

powermock @PrepareForTest不使用通配符值

版本: powermock-core 1.4.12

问题: 根据API文档,@ PrepareForTest应该能够采用以下通配符:

@PrepareForTest( "com.smin.*")

但在我的情况下,它只是简单地不编译,编译错误:

Type mismatch: cannot convert from String to Class<?>[]

我看了一下PrepareForTest的源代码,我只是看不出这个注释如何将通配符作为其值.有任何想法吗?

@Target( { ElementType.TYPE, ElementType.METHOD })
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface PrepareForTest {
    Class<?>[] value() default IndicateReloadClass.class;

    String[] fullyQualifiedNames() default "";
}
Run Code Online (Sandbox Code Playgroud)

junit annotations powermock

2
推荐指数
1
解决办法
1724
查看次数

hbase shell命令:如何使用QualifierFilter

在hbase shell中运行以下命令,尝试使QualifierFilter正常工作:

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.filter.QualifierFilter
import org.apache.hadoop.hbase.filter.BinaryComparator
Run Code Online (Sandbox Code Playgroud)

得到以下错误:

hbase(main):011:0>  scan 'test', { FILTER => QualifierFilter.new(CompareFilter.CompareOp.GREATER, 'dummy')}
NoMethodError: undefined method `CompareOp' for Java::OrgApacheHadoopHbaseFilter::CompareFilter:Class
Run Code Online (Sandbox Code Playgroud)

有人可以分享hbase QualifierFilter如何在bhase shell中运行的示例.

hadoop hbase

2
推荐指数
1
解决办法
3028
查看次数

Dropwizard - Filter给出了500个服务器错误,而不是定义的响应状态

我有一个过滤器 - 为我的Web服务添加了TimeValidationFilter,如下所示:

@Override
public final void run(T configuration, Environment environment) throws Exception {
    environment.addFilter(new TimeValidationFilter(), "/*");
    environment.manage(***blablabla***);
    environment.addHealthCheck(***blablabla***);
    try {
        environment.addResource(new BlablaResourceImpl(configuration));
    } catch (ConfigurationException e) {
        throw new IllegalStateException(e);
    }
}
Run Code Online (Sandbox Code Playgroud)

我的TimeValidationFilter只是在这个阶段检查startTime和endTime是否为null:

public class TimeValidationFilter implements Filter {

    public final static String START_TIME = "startTime";
    public final static String END_TIME = "endTime";

    public void doFilter(ServletRequest req, ServletResponse res, FilterChain chain) throws IOException,
            ServletException {
        HttpServletRequest request = (HttpServletRequest) req;
        String startTimeStr = request.getParameter(START_TIME);
        String endTimeStr = request.getParameter(END_TIME);

        if …
Run Code Online (Sandbox Code Playgroud)

jersey dropwizard

2
推荐指数
1
解决办法
2979
查看次数

Python字典键/带前缀的值 - 前缀是什么?

我最近看到一个Python dict看起来像这样:

test1 = {u'user':u'user1', u'user_name':u'alice'}
Run Code Online (Sandbox Code Playgroud)

这让我感到困惑,u键/值对之前是什么?它是某种前缀吗?这有什么不同:

test2 = {'user':'user1', 'user_name':'alice'}
Run Code Online (Sandbox Code Playgroud)

我试过玩test1和test2; 他们似乎没有什么不同.有人可以解释前缀的用途吗?

>>> test1 = {u'user':u'user1', u'user_name':u'alice'}
>>> test2 = {'user':'user1', 'user_name':'alice'} 
>>> print test1[u'user']
user1
>>> print test1['user']
user1
>>> print test2['user']
user1
>>> print test2[u'user']
Run Code Online (Sandbox Code Playgroud)

python unicode python-unicode

2
推荐指数
1
解决办法
2199
查看次数

可以通过本地包tar.gz文件pip安装python egg

在我的开发环境中,由于一些网络问题,当我运行时:

(my-virt-env)$ pip install lxml
Run Code Online (Sandbox Code Playgroud)

它始终失败,原因是:

Downloading/unpacking lxml
  Downloading lxml-3.1.2.tar.gz (3.3Mb): 1.2Mb downloaded
Exception:
Traceback (most recent call last):
  blablabla
error: [Errno 104] Connection reset by peer
Run Code Online (Sandbox Code Playgroud)

然后我从其他地方下载了lxml-3.1.2.tar.gz,并使用usb密钥将其复制过来.无论如何我可以告诉pip没有费心去上网这个包,只需通过本地tar.gz安装它?所以我可以这样做:

(my-virt-env)$ pip install ${local_path}/lxml*.tar.gz
Run Code Online (Sandbox Code Playgroud)

试过这个命令,我得到很长的错误信息:

pip install /home/shengjie/Downloads/lxml-3.1.2.tar.gz 
Unpacking /home/shengjie/Downloads/lxml-3.1.2.tar.gz
  Running setup.py egg_info for package from file:///home/shengjie/Downloads/lxml-3.1.2.tar.gz
    /usr/lib/python2.7/distutils/dist.py:267: UserWarning: Unknown distribution option: 'bugtrack_url'
      warnings.warn(msg)
    Building lxml version 3.1.2.
    Building without Cython.
    ERROR: /bin/sh: 1: xslt-config: not found

    ** make sure the development packages of libxml2 and libxslt are installed **
    ......................
    bla …
Run Code Online (Sandbox Code Playgroud)

python lxml pip pypi

2
推荐指数
1
解决办法
6966
查看次数

在不执行子顺序代码的情况下中断嵌套循环

我试图找出如何打破嵌套for循环来实现以下目的:

  1. 当它突破嵌套的for循环时,它仍然在外部for循环中
  2. 当它突破嵌套的for循环时,它不再执行剩余的代码,在本例中是最后一行.
def for_loop_flow():
    for a in range(0, 2):
        print "a = %s" % a
        for b in range(3, 5):
            print "b = %s" % b
            if b == 4:
                print "XXXXXXXXbreak"
                break
        print("big piece of logic here, when nested for loop breaks, I "
              "don't wanna be here")
Run Code Online (Sandbox Code Playgroud)

现在,我只能想到使用一个标志:

def for_loop_flow():
    for a in range(0, 2):
        print "a = %s" % a
        flag = True
        for b in range(3, 5):
            print "b = %s" % b
            if b …
Run Code Online (Sandbox Code Playgroud)

python for-loop

2
推荐指数
1
解决办法
426
查看次数