小编eLR*_*uLL的帖子

如何通过Cron Job运行Shell脚本

我有一个像下面这样的Shell脚本

 echo "Hello World"
Run Code Online (Sandbox Code Playgroud)

该脚本位于/root/scripts/文件夹中test.sh

我还创建了一个如下的cron作业

  0-59 * * * *  ./scripts/test.sh
Run Code Online (Sandbox Code Playgroud)

现在,cron作业不会在test.sh每分钟打印内容.

让我知道我是否给出了错误的目录,或者我的代码中有任何其他问题.

linux cron crontab ubuntu-10.04

3
推荐指数
1
解决办法
2万
查看次数

在JDK 6上运行Presto

我试图运行启动器但遇到此错误:

Exception in thread "main" java.lang.UnsupportedClassVersionError: sun/misc/FloatingDecimal : Unsupported major.minor version 51.0
    at java.lang.Double.toString(Double.java:196)
    at java.lang.String.valueOf(String.java:2985)
    at java.security.Provider.putId(Provider.java:433)
    at java.security.Provider.<init>(Provider.java:137)
    at sun.security.jca.ProviderList$1.<init>(ProviderList.java:71)
    at sun.security.jca.ProviderList.<clinit>(ProviderList.java:70)
    at sun.security.jca.Providers.<clinit>(Providers.java:56)
    at sun.security.util.ManifestEntryVerifier.<clinit>(ManifestEntryVerifier.java:47)
    at java.util.jar.JarFile.initializeVerifier(JarFile.java:335)
    at java.util.jar.JarFile.getInputStream(JarFile.java:410)
    at sun.misc.URLClassPath$JarLoader$2.getInputStream(URLClassPath.java:721)
    at sun.misc.Resource.cachedInputStream(Resource.java:77)
    at sun.misc.Resource.getByteBuffer(Resource.java:160)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:266)
    at java.net.URLClassLoader.access$000(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:212)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
Could not find the main class: com.facebook.presto.server.PrestoServer. Program will exit.
Run Code Online (Sandbox Code Playgroud)

我认为这是因为我在JDK 6上运行启动器.(而它需要JDK 7.)是否有任何可以在JDK 6上运行的Presto版本?因为我目前想在我的Cloudera Hadoop集群上运行它,而Cloudera似乎只能与JDK 6一起运行.

谢谢.

jdk1.6 presto

3
推荐指数
1
解决办法
893
查看次数

osx:tree -I命令错误打开目录

我刚安装treebrew,当我尝试这样运行了它(在一个Python项目文件夹):

tree -I *.pyc
Run Code Online (Sandbox Code Playgroud)

它返回文件的[error opening dir] pyc,例如:

我开始运行ls:

a.pyc b.pyc
Run Code Online (Sandbox Code Playgroud)

当我跑步时tree -I *.pyc,我得到:

b.pyc [error opening dir]

0 directories, 0 files
Run Code Online (Sandbox Code Playgroud)

有什么想法吗?

macos shell tree

3
推荐指数
1
解决办法
2492
查看次数

scrapy:了解项目和请求在回调之间如何工作

我在Scrapy中苦苦挣扎,而且我不明白回调之间传递项目的确切方式。也许有人可以帮助我。

我正在调查http://doc.scrapy.org/en/latest/topics/request-response.html#passing-additional-data-to-callback-functions

def parse_page1(self, response):
    item = MyItem()
    item['main_url'] = response.url
    request = scrapy.Request("http://www.example.com/some_page.html",
                             callback=self.parse_page2)
    request.meta['item'] = item
    return request

def parse_page2(self, response):
    item = response.meta['item']
    item['other_url'] = response.url
    return item
Run Code Online (Sandbox Code Playgroud)

我正在尝试逐步了解那里的行动流程:

[parse_page1]

  1. item = MyItem() <-对象项已创建
  2. item['main_url'] = response.url <-我们正在为对象项的main_url分配值
  3. request = scrapy.Request("http://www.example.com/some_page.html", callback=self.parse_page2) <-我们正在请求一个新页面并启动parse_page2进行剪贴。

[parse_page2]

  1. item = response.meta['item']<-我在这里不明白。我们正在创建一个新的对象项,或者这是在[parse_page1]中创建的对象项?什么是response.meta ['item']是什么意思?我们仅在3个信息(例如链接和回调)中传递给请求,因此未添加任何其他可引用的参数...
  2. item['other_url'] = response.url <-我们正在为对象项的other_url赋值
  3. return item <-我们根据请求返回项目对象

[parse_page1]

  1. request.meta['item'] = item<-我们正在分配要请求的对象项目吗?但是请求完成后,回调已经在6中返回了项目?
  2. return request <-我们正在获取请求的结果,所以从6开始的项目对吗?

我浏览了所有有关scrapy和request / response / meta的文档,但是我仍然不明白第4点和第7点的情况。

python scrapy

3
推荐指数
1
解决办法
2346
查看次数

Scrapy如何提取样式属性?

html 元素如下,

<div style="width: 80.42%;" class="classA"></div>
Run Code Online (Sandbox Code Playgroud)

使用此代码我可以提取整个样式元素:

response.xpath("//div[@class='classA']").xpath("@style").extract()
Run Code Online (Sandbox Code Playgroud)

但我想获取样式元素的宽度值,即80.42%,我该怎么办?

python xpath scrapy

3
推荐指数
1
解决办法
3773
查看次数

特定标记的正则表达式

我正在.NET项目中使用正则表达式来获取特定标记.我想匹配整个DIV标签及其内容:

<html>
   <head><title>Test</title></head>
   <body>
     <p>The first paragraph.</p>
     <div id='super_special'>
        <p>The Store paragraph</p>
     </div>
     </body>
  </head>
Run Code Online (Sandbox Code Playgroud)

码:

    Regex re = new Regex("(<div id='super_special'>.*?</div>)", RegexOptions.Multiline);


    if (re.IsMatch(test))
        Console.WriteLine("it matches");
    else
        Console.WriteLine("no match");
Run Code Online (Sandbox Code Playgroud)

我想要匹配这个:

<div id="super_special">
   <p>Anything could go in here...doesn't matter.  Let's get it all</p>
</div>
Run Code Online (Sandbox Code Playgroud)

我以为.应该得到所有的角色,但似乎有回车问题.我的正则表达式遗失了什么?

谢谢.

.net regex

2
推荐指数
1
解决办法
2089
查看次数

如何使用Astyanax执行"'describe"CQL查询

当您使用cqlshCassandra时,您可以进行describe查询以获取表的信息,例如:

DESCRIBE TABLE emp;
Run Code Online (Sandbox Code Playgroud)

它会给你一些类似的东西:

CREATE TABLE emp (
  empid int PRIMARY KEY,
  deptid int,
  description text
) ...
....
Run Code Online (Sandbox Code Playgroud)

那么如何使用Astyanax对CQL的支持来查询它.我能够使用以下方法查询简单SELECT语句:

OperationResult<CqlResult<String, String>> result
            = keyspace.prepareQuery(empColumnFamily)
              .withCql("Select * from emp;")
              .execute();
Run Code Online (Sandbox Code Playgroud)

但这不适用于DESCRIBE陈述.

PD:我真的这样做是为了得到DATA TYPES表格,稍后解析它并获得例如int, int, text,所以如果你有不同的方法来获得它们,那么它可能很棒.

此查询select column, validator from system.schema_columns;不起作用,因为它不返回组合键.

java cql cassandra astyanax cql3

2
推荐指数
1
解决办法
795
查看次数

正则表达式:不包含子字符串

我想测试不包含特定子字符串的字符串

示例字符串是:

event2
event23,event1,event67=12
event1,event30
event23
event2
event2,event23
Run Code Online (Sandbox Code Playgroud)

我想匹配不包含event2.

因此,以下字符串应该匹配:
event23,event1,event67=12
event1,event30
event23

到目前为止,我可以event2使用以下表达式匹配 do 包含的字符串:
/^.*(\bevent2\b)/gm

但我不知道如何将其与负面前瞻结合起来。

这似乎不起作用:
/^.*(?!.*(\bevent2\b))/gm

regex negative-lookahead

2
推荐指数
1
解决办法
5233
查看次数

从R中的字符串中匹配提取国家名称

我一直在从网站上抓取评论数据,在此过程中,我能够获取包含用户名、评论数量、评论日期和国家/地区信息的字符串向量。它们看起来大致是这样的

raw <- c("Anna (1025) - North Carolina, USA - DEC 20, 2017", 
"James (10) - - MEXICO - NOV 22, 2017", 
"Susane (222) - Oulu, FINLAND - JUNE 1, 2016", 
"Alex (20000) - SOUTH KOREA- MAR 11, 2015")
Run Code Online (Sandbox Code Playgroud)

到目前为止,我可以提取名称、评论编号和日期,因为它们位于定义的位置或具有一致的格式。问题在于,国家/地区名称格式的位置不一致,并且每个字符串中的各个数据点没有一致地用逗号或破折号分隔。仅提取大写字符串就会遇到缺少国家或名称中有两个部分的国家的问题。

地图包包含国家/地区列表。有没有一种方法可以用来str_extract_allstringr国家/地区列表向量中查找匹配项并提取该匹配项?

r data-processing web-scraping stringr dplyr

2
推荐指数
1
解决办法
4344
查看次数

Scrapy - 如何将字符串转换为我可以使用 XPath 的对象?

假设我有一些类似 HTML 格式的纯文本,如下所示:

<div id="foo"><p id="bar">Some random text</p></div>
Run Code Online (Sandbox Code Playgroud)

我需要能够在其上运行 XPath 以检索一些内部元素。如何将纯文本转换为可以使用 XPath 的某种对象?

xpath scrapy

2
推荐指数
1
解决办法
1521
查看次数