小编2D_*_*2D_的帖子

hdfs dfs -mkdir,没有这样的文件或目录

嗨,我是hadoop的新手,并尝试在hdfs中创建名为twitter_data的目录.我在softlayer上设置了我的vm,成功安装并启动了hadoop.

这是我想要运行的表扬:

hdfs dfs -mkdir hdfs:// localhost:9000/user/Hadoop/twitter_data

并且它一直返回此错误消息:

 /usr/local/hadoop/etc/hadoop/hadoop-env.sh: line 2: ./hadoop-env.sh: Permission denied
16/10/19 19:07:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: `hdfs://localhost:9000/user/Hadoop/twitter_data': No such file or directory
Run Code Online (Sandbox Code Playgroud)

为什么说没有这样的文件和目录?我订购它制作目录,不应该只创建一个?我猜它一定是权限问题,但我无法解决它.请帮我hdfs专家.我花了太多时间在一件简单的事情上.

提前致谢.

hadoop hdfs

17
推荐指数
2
解决办法
2万
查看次数

FLAGS =无意义?

我是python和tensorFlow的新手,我正在关注tensorFlow文档的MNIST教程.

在第一位,我不知道FLAGS = None在这里做什么.我在谷歌搜索,然后回来了.这似乎对其他人来说太明显了?

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import sys

from tensorflow.examples.tutorials.mnist import input_data

import tensorflow as tf

FLAGS = None


def main(_):
  # Import data
  mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)
Run Code Online (Sandbox Code Playgroud)

那么什么是FLAGS以及如何使用它?例如,FLAGS.data_dir

任何帮助,将不胜感激!

python argparse tensorflow

6
推荐指数
1
解决办法
3418
查看次数

BigQuery:展平嵌套架构中的所有重复字段

我在从 Big Query 的嵌套模式查询时遇到了很多麻烦。我有以下字段。

在此处输入图片说明

我想把桌子弄平并得到这样的东西。

用户 | question_id | 用户选择

123 | 1 | 1

123 | 1 | 2

123 | 1 | 3

123 | 1 | 4

从其他资源中,我可以从重复列中的记录之一进行查询。例如以下内容:

SELECT user, dat.question_id FROM tablename, UNNEST(data) dat

它给了我这个结果。 在此处输入图片说明

但是当我这样做时,我又得到了另一个重复的列。

SELECT user, dat.question_id, dat.user_choices FROM tablename, UNNEST(data) dat

在此处输入图片说明

任何人都可以帮助我如何正确地取消嵌套这个表,以便我可以为所有数据项提供扁平化的架构?

谢谢!

google-bigquery unnest bigquery-standard-sql

0
推荐指数
1
解决办法
3340
查看次数