小编Iva*_*nik的帖子

我尝试使用bazel构建tensorflow服务,但我在构建过程中遇到了一些错误

ERROR:/private/var/tmp/_bazel_Kakadu/3f0c35881c95d2c43f04614911c03a57/external/local_config_cc/BUILD:49:5: in apple_cc_toolchain rule @local_config_cc//:cc-compiler-darwin_x86_64: Xcode version must be specified to use an Apple CROSSTOOL.

ERROR: Analysis of target '//tensorflow_serving/sources/storage_path:file_system_storage_path_source_proto' failed; build aborted.

我已经尝试使用了bazel clean,bazel clean --expunge但它没有帮助,仍然Bazel没有看到我的xcode(我想)但它已经完全安装.我甚至重新安装它以确保一切正常,但错误并没有消失

我的Bazel版本是

Build label: 0.5.2-homebrew
Build target: bazel-out/darwin_x86_64-opt/bin/src/main/java/com/google/devtools/build/lib/bazel/BazelServer_deploy.jar
Build time: Thu Jul 13 12:29:40 2017 (1499948980)
Build timestamp: 1499948980
Build timestamp as int: 1499948980
KakaduDevs-Mac-mini:serving Kakadu$ 

操作系统是MacOS Sierra版本10.12.5

如何在bazel中指定Xcode版本以避免此错误？似乎错误是常见的,但我还没有找到如何制作bazel.PS我正在尝试安装tensorflow-服务如何解释这里的方式. https://tensorflow.github.io/serving/setup

我有一个大的csv文件,不想将它完全加载到我的内存中,我需要从这个csv文件中只获取列名.如何清楚地加载它？

我必须计算每行之间的余弦距离，但我不知道如何优雅地使用 Spark API Dataframes 来完成它。这个想法是计算每一行（项目）的相似度，并通过比较它们在行之间的相似度来获取前 10 个相似度。--> 这是 Item-Item Recommender System 所需要的。

我所读到的所有内容都涉及计算列上的相似性Apache Spark Python Cosine Similarity over DataFrames 也许有人会说是否可以使用 PySpark Dataframe 的 API 或 RDD 优雅地计算行之间的余弦距离，或者我必须手动完成？

这只是一些代码来显示我打算做什么

def cosineSimilarity(vec1, vec2):
    return vec1.dot(vec2) / (LA.norm(vec1) * LA.norm(vec2))


#p.s model is ALS
Pred_Factors = model.itemFactors.cache() #Pred_Factors = DataFrame[id: int, features: array<float>]

sims = []

for _id,_feature in Pred_Factors.toLocalIterator():
    for id, feature in Pred_Factors.toLocalIterator():

        itemFactor = _feature

        sims = sims.append(_id, cosineSimilarity(asarray(feature),itemFactor))

sims = sc.parallelize(l)
sortedSims = sims.takeOrdered(10, key=lambda x: -x[1])

提前感谢所有帮助

我有一个处理大量数据的任务，因此数据被分成很多部分。我已经为此类工作编写了任务定义，但现在我只知道如何通过为每个环境注册多个任务定义来手动设置它们。

每个任务都有自己的 env BATCH_ID 的示例

  aws ecs register-task-definition --cli-input-json file://taskdef1.json  
  aws ecs run-task --cluster $cluster --task-definition process_data_1

  aws ecs register-task-definition --cli-input-json file://taskdef2.json  
  aws ecs run-task --cluster $cluster --task-definition process_data_2

如果为集群放置所有任务 arns 的一些.manifest文件，那就更好了。

有没有办法以更优雅的方式运行多个具有不同环境参数的类似 ECS 任务，然后创建大量不同的 taskdefs 文件？

感谢您的帮助和建议

我正在尝试使用新的对象检测 API在杂货数据集检测上训练 Faster R-CNN ，但我不太了解为此创建 TFRecord 文件的过程。我知道牛津和 VOC 数据集示例以及创建 TFRecord 文件的脚本，如果训练图像中只有一个对象，它们就可以正常工作，这是我在所有官方示例和 github 项目中看到的。我有定义了 20 多个对象的图像，并且对象具有不同的类。我不想为一张图像迭代 20+ 次并创建 20 个几乎相同的 tf_examples，其中只有 20+ 的 img_encoded 将占用我所有的空间。

  tf_example = tf.train.Example(features=tf.train.Features(feature={
      'image/height': dataset_util.int64_feature(height),
      'image/width': dataset_util.int64_feature(width),
      'image/filename': dataset_util.bytes_feature(filename),
      'image/source_id': dataset_util.bytes_feature(filename),
      'image/encoded': dataset_util.bytes_feature(encoded_image_data),
      'image/format': dataset_util.bytes_feature(image_format),
      'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
      'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
      'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
      'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
      'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
      'image/object/class/label': dataset_util.int64_list_feature(classes),
  }))
  return tf_example

我相信在创建 tf_records xmin、xmax、ymin、ymax、classes_text 和 classes期间我的问题的答案都应该是每个边界框一个值的列表，因此我可以将不同的对象和参数添加到这些列表中一张图片。

也许有人有经验，可以帮助提供建议。我所描述的方式是否可行，如果不行，是否有任何方法可以以精致和简单的方式为一个图像中的多个对象创建 tf_recrds？

我只是在这里放了一些功能（不是全部）来创建 tfrecords ，因为我认为必须以我认为必须工作的方式工作，因为我附加的链接中的评论（列表......（每盒 1 个））。希望想法从附加的 json 中是干净的。

清理某些情况：例如，xmin 有 4 个不同的归一化 xmins [0.4056372549019608, 0.47794117647058826, …

$ PATH变量sys.path和os.environ有什么区别？我知道它们都充当python搜索软件包的路径。但是，做出更详尽的回应会很好。

从我的实践中得出的一个可行的例子是，在Ubuntu 16.04上导入之前，我仅将脚本与os.environ一起使用I got ImportError: No module named XXX。同时在MacOS上运行良好。在Ubuntu上添加sys.path之后，我可以很好地导入模块。

感谢您在Advance中的解释。

有没有什么方便的方法可以将文本直接绘制到 OpenCV 圆圈中？谷歌中没有找到类似的答案。

如果我只是使用圆形的Centroid_X和Centroid_Y作为putText，我会得到如下图所示的结果，但我希望文本完全适合圆形，并且无法找到任何优雅的方式在圆形内绘制文本。

cv2.putText(frame, text, (cX, cY), FONT, 1.5, TEXT_COLOUR, int(TEXT_THICKNESS), cv2.LINE_AA)

当我进入 SageMaker 中的笔记本实例并在Linear_learner_mnist示例中创建模型时，即使我的角色附加了AmazonSageMakerFullAccess和AssumeRole附加策略，我也会收到错误。当我将 AdministratorAccess策略添加到角色时 - 一切正常。我在这里缺少什么？

角色存在并附加

Resources:
  SageMakerExecutionRole:
    Condition: RoleArnEmpty
    Type: "AWS::IAM::Role"
    Properties:
      AssumeRolePolicyDocument:
        Statement:
          - Effect: "Allow"
            Principal:
              Service:
                - "sagemaker.amazonaws.com"
            Action:
              - sts:AssumeRole
      ManagedPolicyArns:
        - "arn:aws:iam::aws:policy/AmazonSageMakerFullAccess"
      Path: "/service-role/"
      Policies:
        Fn::If:
        - S3BucketNotEmpty
        -
          - PolicyName: SageMakerS3BucketAccess
            PolicyDocument:
              Version: '2012-10-17'
              Statement:
                - Effect: Allow
                  Action:
                    - s3:*
                  Resource:
                    - !Sub 'arn:aws:s3:::${SageMakerS3Bucket}'
                    - !Sub 'arn:aws:s3:::${SageMakerS3Bucket}/*'
        - Ref: AWS::NoValue

ClientError：调用 CreateTrainingJob 操作时发生错误 (ValidationException)：无法承担角色 arn:aws:iam::XXX:role/sagemaker-stack-SageMakerExecutionRole-1JT7AT4OPUK9R。请确保该角色存在并允许主体“sagemaker.amazonaws.com”担任该角色。

需要在路径中的斜杠后获取最后一个文件夹或元素.换句话说,我有:

path = '/Users/ivanmac/Desktop/dogs_vs_cel/thumbnails_features_deduped_sample/'

我需要得到:

'thumbnails_features_deduped_sample'

从中.

for d, _, files in os.walk(path):
    print(d[4])  # would be great to have something like this.. 

怎么做得很好,也许有人知道？

非常感谢提前.

如何从现有的键值列表创建字典词典？

celebr = ['Tony','Harry','Katty','Sam']
perc = [69,31,0,0]


d = dict(zip(celebr, perc))


dlist = []

for i in d.items():
    dlist.append(i)

print(dlist)

输出:

[('Tony': 69), ('Harry': 31), ('Katty': 0), ('Sam': 0)]

当我使用d.items时,它会自动给我元组,而不是字典.有没有优雅的方法来创建字典列表而不是元组？

需要获得以下结构:

[{'Tony': 69}, {'Harry': 31}, {'Katty': 0}, {'Sam': 0}]

考虑元组列表

[(7751, 0.9407466053962708), (6631, 0.03942129), (7751, 0.1235432)]

如何以第一个数字相似的pythonic方式计算所有元组值的平均值？例如答案必须是

[(7751, 0.532144902698135), (6631, 0.03942129)]

我发现我无法使用 opencv 使用 4 个点（x，y，w，h）轻松编写边界框。其中 x, y 是左上角，w=width, h=height。

cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),15)

但是如何使用只有xmax xmin ymax ymin点的opencv 编写边界框？我需要检查我的代码中是否一切正常，并且x, y, w, h使用的边界框完全等于我在xmax xmin ymax ymin下的边界框。

我使用这些代码将x, y, w, h 转换为xmax xmin ymax ymin

bbox_topleft_corner_x = int(prod_data[0])
bbox_topleft_corner_y = int(prod_data[1])
bbox_w = int(prod_data[2])
bbox_h = int(prod_data[3])

ymax = bbox_topleft_corner_y
ymin = bbox_topleft_corner_y - bbox_h
xmax = bbox_topleft_corner_x + bbox_w
xmin = ymin + bbox_w

但我不确定我是否按照自己的意愿做了所有事情。我想将x、y、w、h转换为VOOC2007注释 xml 格式及其边界框格式

感谢您的任何建议

我们都知道 cron 会忽略“.bashrc”和“.bash_profile”中定义的变量，所以我们必须在 cron 中定义它。我经常做同样的事情写在类似的问题https://unix.stackexchange.com/questions/67940/cron-ignores-variables-defined-in-bashrc-and-bash-profile但仍然是 .bashrc 中的全局变量还是行不通。我找到了执行它的方法 - 通过使用“set +a”bashrc 脚本定义 sh 脚本。但是“源”仍然不起作用。

SHELL=/bin/bash
BASH_ENV=/root/.bashrc
PATH=:/opt/spark/spark-2.2.0-bin-hadoop2.7/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
SPARK_HOME=/opt/spark/spark-2.2.0-bin-hadoop2.7
MAILTO=root HOME=/

# m h  dom mon dow   command
* * * * * /bin/bash -c 'source $HOME/.bashrc; echo "SPARK_HOME: '$SPARK_HOME'"; echo "JAVA_HOME: '$JAVA_HOME'"' > /var/log/file.log 2>&1

# DO NOT DELETE LAST LINE

返回日志文件

SPARK_HOME: /opt/spark/spark-2.2.0-bin-hadoop2.7
JAVA_HOME:

还尝试以交互模式执行此操作，因为它是由 mklement0
源 .bashrc 在脚本中编写的不起作用

* * * * * /bin/bash -i source /root/.bashrc; echo $JAVA_HOME > /var/log/file.log 2>&1

如您所见，SPARK_HOME 是在 crontab 中定义的，而 JAVA_HOME …