小编sha*_*nuo的帖子

Cron在单撇号上失败了

以下工作按预期工作:

date +'%d-%b-%Y-%H-%M'

28-Sep-2009-14-28

但是crontab中的以下4个条目都没有工作.

* * * * * date +\'%d-%b-%Y-%H-%M\' >> /backup/shantanu/testing.txt
* * * * * date +'%d-%b-%Y-%H-%M' >> /backup/shantanu/testing1.txt
* * * * * date +"%d-%b-%Y-%H-%M" >> /backup/shantanu/testing2.txt
* * * * * date +\"%d-%b-%Y-%H-%M\" >> /backup/shantanu/testing3.txt
Error:
/bin/sh: -c: line 0: unexpected EOF while looking for matching `"'
/bin/sh: -c: line 1: syntax error: unexpected end of file

我可以在shell脚本中保存相同的代码并设置cron,但我想知道是否可以直接为任务设置cron.

我试图设置的实际cron条目看起来像这样......

16 * * * * mysqldump myDB myTB > /backup/ABCbc$(date +'%d-%b-%Y-%H-%M').sql 2> /backup/ABCbc_errORS$(date +'%d-%b-%Y-%H-%M').txt

unix cron

7
推荐指数
1
解决办法
4935
查看次数

在logstash中编写脚本

是否可以像logstash中的脚本一样进行python?我可以使用logstash将csv数据导入elasticsearch.但我需要使用更新API而不是简单地索引所有行.

这是我的示例csv文件...

vi /tmp/head.txt
"Home","Home-66497273a5a83c99","Spice Xlife 350, 3.5inch Android, bit.ly/1VSZj","919359000000","HMSHOP","916265100000","2016-05-18 08:41:49"
"Home","Home-26497273a5a83c99","Spice Xlife 350, 3.5inch Android, bit.ly/1V1","919359000001","HMSHOP","916265100000","2016-05-18 18:41:49"
"Home","Home-36497273a5a83c99","Spice Xlife 350, 3.5inch Android, bit.ly/SZj1","919359000001","HMSHOP","916265100000","2016-05-18 12:41:49"
"Home","Home-46497273a5a83c99","Spice Xlife 350, 3.5inch Android, bit.ly/1","919359000000","HMSHOP","916265100000","2016-05-18 14:41:49"
"Home","Home-56497273a5a83c99","Spice Xlife 350, 3.5inch Android, bit.ly/1VSZj1xc","919359000000","HMSHOP","916265100000","2016-05-18 16:41:49"
Run Code Online (Sandbox Code Playgroud)

这是logstash配置文件...

vi logstash.conf
input {
    file {
        path => "/tmp/head.txt"
        type => "csv"
        start_position => beginning
    }
}
filter {
    csv {
        columns => ["user", "messageid", "message", "destination", "code", "mobile", "mytimestamp"]
        separator => ","
    }
}

output {
    elasticsearch {
        action …
Run Code Online (Sandbox Code Playgroud)

python groovy elasticsearch logstash

7
推荐指数
1
解决办法
2672
查看次数

使用 spacy 翻译文本

是否可以使用 spacy 将这句话翻译成其他语言,例如法语?

import spacy
nlp = spacy.load('en')
doc = nlp(u'This is a sentence.')
Run Code Online (Sandbox Code Playgroud)

如果 spacy 不是正确的工具,那么哪个(免费和开源)python 库可以翻译文本?

nltk spacy

7
推荐指数
1
解决办法
4975
查看次数

如何部署CNN文件

我已经使用此代码训练了一个模型...

https://github.com/shantanuo/pandas_examples/blob/master/tensorflow/simages_train_waiting.ipynb

我的文件已经准备好了,但是该如何部署呢?

https://s3.ap-south-1.amazonaws.com/studentimages162a/cnn.h5

我尝试使用托管解决方案panini.ai,但它不接受h5文件。我试图将其转换为csv,但这没有用。我也试过用烧瓶

https://github.com/mtobeiyf/keras-flask-deploy-webapp

我在尝试运行Docker容器时遇到此错误...

# docker run -v /tmp/:/tmp/ -p 5000:5000 keras_flask_app
Using TensorFlow backend.
Traceback (most recent call last):
  File "app.py", line 26, in <module>
    model = load_model(MODEL_PATH)
  File "/usr/local/lib/python2.7/site-packages/keras/engine/saving.py", line 419, in load_model
    model = _deserialize_model(f, custom_objects, compile)
  File "/usr/local/lib/python2.7/site-packages/keras/engine/saving.py", line 221, in _deserialize_model
    model_config = f['model_config']
  File "/usr/local/lib/python2.7/site-packages/keras/utils/io_utils.py", line 302, in __getitem__
    raise ValueError('Cannot create group in read only mode.')
ValueError: Cannot create group in read only mode.
Run Code Online (Sandbox Code Playgroud)

换句话说如何使用cnn.h5文件?


我正在尝试使用此代码...

from keras.models import Sequential …
Run Code Online (Sandbox Code Playgroud)

keras tensorflow

7
推荐指数
1
解决办法
169
查看次数

按组排序"汇总"

我发现group by使用的"with rollup"选项非常有用.但它不符合"order by"条款.有没有办法按我想要的方式订购以及计算小计?

CREATE TABLE `mygroup` (
  `id` int(11) default NULL,
  `country` varchar(100) default NULL
) ENGINE=MyISAM ;

INSERT INTO `mygroup` VALUES (1,'India'),(5,'India'),(8,'India'),(18,'China'),(28,'China'),(28,'China');

mysql>select country, sum(id) from mygroup group by country with rollup; 
+---------+---------+
| country | sum(id) |
+---------+---------+
| China   |      74 | 
| India   |      14 | 
| NULL    |      88 | 
+---------+---------+
3 rows in set (0.00 sec)

mysql>select country, sum(id) as cnt from mygroup group by country order by cnt ;
+---------+------+
| country …
Run Code Online (Sandbox Code Playgroud)

mysql sql

6
推荐指数
2
解决办法
2万
查看次数

连接到具有大写字母的存储桶

如果存储桶名称包含大写字母,则无法连接到存储桶.我有几个有大写字母的桶.

>>> mybucket = conn.get_bucket('Vig_import')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.6/site-packages/boto/s3/connection.py", line 391, in get_bucket
    bucket.get_all_keys(headers, maxkeys=0)
  File "/usr/lib/python2.6/site-packages/boto/s3/bucket.py", line 360, in get_all_keys
    '', headers, **params)
  File "/usr/lib/python2.6/site-packages/boto/s3/bucket.py", line 317, in _get_all
    query_args=s)
  File "/usr/lib/python2.6/site-packages/boto/s3/connection.py", line 462, in make_request
    host = self.calling_format.build_host(self.server_name(), bucket)
  File "/usr/lib/python2.6/site-packages/boto/s3/connection.py", line 86, in build_host
    return self.get_bucket_server(server, bucket)
  File "/usr/lib/python2.6/site-packages/boto/s3/connection.py", line 65, in wrapper
    if len(args) == 3 and check_lowercase_bucketname(args[2]):
  File "/usr/lib/python2.6/site-packages/boto/s3/connection.py", line 57, in check_lowercase_bucketname
    raise BotoClientError("Bucket names …
Run Code Online (Sandbox Code Playgroud)

boto

6
推荐指数
1
解决办法
3987
查看次数

从逗号分隔列中查找最后一个值

我在给定列中有逗号分隔的文本.有没有办法得到最后一个,倒数第二个和第三个值?

select mnumber from mytable limit 2;

x, y, z, 1, 2, 3
a, b, c, d, e, f, g, h, 7, 8, 9
Run Code Online (Sandbox Code Playgroud)

从此列返回的值应如下所示...

col3, col2 col1
1 2 3
7 8 9
Run Code Online (Sandbox Code Playgroud)

这不起作用:

split_part(mnumber,',',-1) as last_col
Run Code Online (Sandbox Code Playgroud)

如果在split_part函数中允许减去值,它将返回我需要的内容.

amazon-redshift

6
推荐指数
2
解决办法
1713
查看次数

如何查找低于(或高于)平均值的值

正如您从以下摘要中看到的,9 月 1 日的计数 (1542677) 远低于每月的平均计数。

from StringIO import StringIO

myst="""01/01/2016  8781262
01/02/2016  8958598
01/03/2016  8787628
01/04/2016  9770861
01/05/2016  8409410
01/06/2016  8924784
01/07/2016  8597500
01/08/2016  6436862
01/09/2016  1542677
"""
u_cols=['month', 'count']

myf = StringIO(myst)
import pandas as pd
df = pd.read_csv(StringIO(myst), sep='\t', names = u_cols)
Run Code Online (Sandbox Code Playgroud)

是否有一个数学公式可以定义这个“远低于或太高”(模棱两可)的概念?

如果我定义一个限制(例如 9 或 10%),这很容易。但我希望脚本为我做出决定,并在最低值和倒数第二低值之间的差异超过总体 5% 时返回值。在这种情况下,应返回 9 月的月份计数。

python dataframe pandas

6
推荐指数
1
解决办法
5093
查看次数

大熊猫向后填补增量12个月

我有一个包含每年课程名称的数据框.我需要找到从2016年开始的持续时间.

from io import StringIO

import pandas as pd

u_cols = ['page_id','web_id']
audit_trail = StringIO('''
year_id | web_id
2012|efg
2013|abc 
2014| xyz
2015| pqr
2016| mnp
''')

df11 = pd.read_csv(audit_trail, sep="|", names = u_cols  )
Run Code Online (Sandbox Code Playgroud)

如何从最高位置开始在新列中添加月份(例如底部像bfill?)

最终的数据框架看起来像这样......

u_cols = ['page_id','web_id' , 'months']
audit_trail = StringIO('''
year_id | web_id | months
2012|efg | 60
2013|abc | 48
2014| xyz | 36
2015| pqr | 24
2016| mnp | 12
''')

df12 = pd.read_csv(audit_trail, sep="|", names = u_cols  )
Run Code Online (Sandbox Code Playgroud)

有些答案并不认为可以有多门课程.更新样本数据......

from io …
Run Code Online (Sandbox Code Playgroud)

python group-by dataframe pandas pandas-groupby

6
推荐指数
2
解决办法
851
查看次数

boto 脚本列出所有 api 网关部署

我使用网关部署了几个 API。如何以表格格式列出所有这些内容以及集成类型(如 lambda)和方法响应(如 200)等详细信息?


更新:正如答案中所建议的,我可以使用“get-rest-apis”方法来获取所有 API ID 的列表。json 数据可以像这样转换为 pandas dataframe...

# aws apigateway get-rest-apis --region=us-east-1 > /tmp/to_file.json

import pandas as pd
import json
from pandas.io.json import json_normalize

with open("to_file.json") as f:
    data = json.load(f)

df = json_normalize(data, "items")

df["createdDate"] = pd.to_datetime(df["createdDate"], unit="s").dt.date
df = df.sort_values(["createdDate"])

df["endpointConfiguration.types"] = df["endpointConfiguration.types"].str[0]
Run Code Online (Sandbox Code Playgroud)

但是如何查询才能获取每个ID的详细信息呢?


为了全面了解给定 API,我需要查询多种方法,例如 get-integration、get-method-response、get-resource。其中每一项都有不同数量的所需参数,这使得自动化过程非常困难。

boto amazon-web-services jq aws-api-gateway

6
推荐指数
1
解决办法
3459
查看次数