小编act*_*ner的帖子

我正在尝试使用conda自动化使用pandas包设置开发环境的过程.

我安装了conda,创建并激活了开发环境.当我尝试按如下方式安装软件包时,我注意到有一个用户必须键入Y或N的提示(继续([y]/n)？),以便安装成功进行.

$ conda install pandas
Fetching package metadata: ....
Solving package specifications: ..................
Package plan for installation in environment /home/miniconda2/envs/pandas_env:

The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    libgfortran-1.0            |                0         170 KB
    openblas-0.2.14            |                3         3.5 MB
    numpy-1.10.2               |           py27_0         5.9 MB
    pytz-2015.7                |           py27_0         174 KB
    six-1.10.0                 |           py27_0          16 KB
    python-dateutil-2.4.2      |           py27_0         219 KB
    pandas-0.17.1              |      np110py27_0        12.4 MB
    ------------------------------------------------------------
                                           Total:        22.3 MB

The following NEW packages will be INSTALLED:

    libgfortran:     1.0-0             
    numpy: …

我想知道如何检索用户在Instagram上关注的人员列表.这是因为这个特定用户是我关注的人.所以我可以在Instagram应用程序上访问他/她的照片和他的粉丝.

我如何使用Instagram API执行此操作？这合法吗？

我有一个将数据发送到Google Analytics的应用.我有兴趣在Hadoop集群上访问和存储这些数据.我猜这个原始数据将以日志的形式出现.特别是,我希望看到user_id,用户进行的搜索以及他/她决定在应用上支付的搜索选项.

我怎样才能做到这一点？我是GA的新手,我不是那个为应用程序设置GA的人.我只是想看看是否有办法可以访问这些原始数据.

想补充说我不能使用Big Query,因为我们无法访问它.设置GA的人对升级到Universal Analytics不感兴趣.

任何帮助/想法/建议表示赞赏.

谢谢!

我在BigQuery中有一个数据集.该数据集包含多个表.

我正在使用BigQuery API以编程方式执行以下步骤:

1. 查询数据集中的表 - 由于我的响应太大,我启用allowLargeResults参数并将响应转移到目标表.

2. 然后,我将数据从目标表导出到GCS存储桶.

要求:

• 假设我的流程在第2步失败,我想重新运行这一步.

• 但在重新运行之前,我想检查/验证数据集中是否已存在名为"xyz"的特定目标表.

• 如果存在,我想重新运行第2步.

• 如果它不存在,我想做foo.

我怎样才能做到这一点？

提前致谢.

我试图在Hue上查询字段为st_date和end_date的表.这些字段采用字符串类型值,例如'2014-04-04','2009-10-10'等.假设,我想找到st_date = 2014-04-04' and end_date = '2014-10-10'两个日期之间的记录:

如何编写查询来检索记录WHERE st_date > 2014-04-03 and end_date < 2014-10-09？

更具体地说,我遇到与此查询中的日期转换相关的问题.

我有一个GCS存储桶包含路径中的一些文件

GS://main-bucket/sub-directory-bucket/object1.gz

我想以编程方式检查子目录存储桶是否包含一个特定文件.我想用gsutil来做这件事.

怎么可以这样做？

似乎有类似的要求:https://issues.apache.org/jira/browse/HIVE-4847

但是,当我从问题的描述 - 'ALTER DATABASE dbname RENAME to newdbname'尝试提出的语法时,它给了我以下错误:

ALTER DATABASE testdb RENAME TO testdb1;

NoViableAltException(26@[])
    at org.apache.hadoop.hive.ql.parse.HiveParser.alterDatabaseStatementSuffix(HiveParser.java:7881)
    at org.apache.hadoop.hive.ql.parse.HiveParser.alterStatement(HiveParser.java:6588)
    at org.apache.hadoop.hive.ql.parse.HiveParser.ddlStatement(HiveParser.java:2183)
    at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1392)
    at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1030)
    at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:199)
    at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:166)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:414)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:332)
    at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:988)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1053)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:924)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:914)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:269)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:221)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:431)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:367)
    at org.apache.hadoop.hive.cli.CliDriver.processReader(CliDriver.java:464)
    at org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:474)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:756)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:694)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:633)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
FAILED: ParseException line 3:15 cannot recognize …

假设我有一个类似的字符串'00321',我想将其转换为BIGINTHive,我该怎么做？

后续问题:将所得到的BIGINT值是321还是00321？

我有一个号码num=010.我想计算这个数字中包含的位数.如果位数高于某个数字,我想做一些处理.

在上面的例子中,位数是3.

谢谢!

我有一个在Hadoop集群中运行的pyspark流应用程序.流应用程序每n秒从Kafka队列中读取一次并进行REST调用.

我有一个日志记录服务,提供一种简单的方法来收集和存储数据,将数据发送到Logstash并在Kibana中可视化数据.数据需要符合此服务提供的模板(具有特定密钥的JSON).

我想使用此服务将流媒体应用程序中的日志发送到Logstash.为此,我需要做两件事:

- Collect some data while the streaming app is reading from Kafka and making the REST call. 
- Format it according to the logging service template.
- Forward the log to logstash host.

任何与此相关的指导都会非常有帮助.

谢谢!