我想在python中将项添加到现有字典中.例如,这是我的字典:
default_data = {
'item1': 1,
'item2': 2,
}
Run Code Online (Sandbox Code Playgroud)
我想添加新项目,以便:
default_data = default_data + {'item3':3}
Run Code Online (Sandbox Code Playgroud)
怎么做到这一点?
我是MongoDB的新手.我目前有一个mongo db的转储(即.bson文件的目录),我试图将其导入mongo.
我按照http://docs.mongodb.org/manual/tutorial/install-mongodb-on-os-x/上的说明安装了mongo .
我正在尝试通过运行mongod --dbpath/path /到/ my/mongodata(这是一个空目录)来测试启动本地mongo实例.
我在stdout中得到以下内容:
Thu Sep 20 09:46:01 [initandlisten] MongoDB starting : pid=1065 port=27017 dbpath=/path/to/my/mongodata/ 64-bit host=dhcp-18-111-28-92.dyn.mit.edu
Thu Sep 20 09:46:01 [initandlisten]
Thu Sep 20 09:46:01 [initandlisten] ** WARNING: soft rlimits too low. rlimits set to 266 processes, 2560 files. Number of processes should be at least 1280 : 0.5 times number of files.
Thu Sep 20 09:46:01 [initandlisten] db version v2.2.0, pdfile version 4.5
Thu Sep 20 09:46:01 [initandlisten] git version: f5e83eae9cfbec7fb7a071321928f00d1b0c5207 …Run Code Online (Sandbox Code Playgroud) 我已使用https://help.ubuntu.com/community/OpenCV中的说明安装了OpenCV
$ sudo su
$ sudo apt-get install build-essential
$ sudo apt-get install libavformat-dev
$ sudo apt-get install ffmpeg
$ sudo apt-get install libcv2.3 libcvaux2.3 libhighgui2.3 python-opencv opencv-doc libcv-dev libcvaux-dev libhighgui-dev
Run Code Online (Sandbox Code Playgroud)
现在,当我执行"pkg-config --cflags --libs opencv"时,我收到此错误:
Package opencv was not found in the pkg-config search path.
Perhaps you should add the directory containing `opencv.pc'
to the PKG_CONFIG_PATH environment variable
No package 'opencv' found
Run Code Online (Sandbox Code Playgroud)
我该如何解决这个问题?
------- -------更新
好的,我想出了如何解决问题......
我创建了一个名为"opencv.pc"的文件并将其复制到"/ usr/local/lib/pkgconfig"然后我将这两行添加到".bashrc":
PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
export PKG_CONFIG_PATH
Run Code Online (Sandbox Code Playgroud)
而已!现在一切都好.
该文件的内容是:
prefix=/usr
exec_prefix=${prefix}
includedir=${prefix}/include
libdir=${exec_prefix}/lib
Name: …Run Code Online (Sandbox Code Playgroud) 我正在尝试导入有效的MongoDB 70 mb json文件.但是,我在一个循环中一遍又一遍地得到这个错误:
01 11:42:20 exception:BSON representation of supplied JSON is too large: Failure parsing JSON string near: "name": "L
01 11:42:20
01 11:42:20 Assertion: 10340:Failure parsing JSON string near: "link": "h
01 11:42:20 mongoimport.exe ???
01 11:42:20 mongoimport.exe ???
01 11:42:20 mongoimport.exe ???
01 11:42:20 mongoimport.exe ???
01 11:42:20 mongoimport.exe ???
01 11:42:20 mongoimport.exe ???
01 11:42:20 mongoimport.exe ???
01 11:42:20 kernel32.dll BaseThreadInitThunk+0x12
01 11:42:20 ntdll.dll RtlInitializeExceptionChain+0xef
01 11:42:20 exception:BSON representation of supplied JSON is too large: Failure …Run Code Online (Sandbox Code Playgroud) 由于以下错误,CodeBuild 项目在配置阶段失败
BUILD_CONTAINER_UNABLE_TO_PULL_IMAGE: Unable to pull customer's container image. CannotPullContainerError: Error response from daemon: pull access denied for <image-name>, repository does not exist or may require 'docker login': denied: User: arn:aws:sts::<id>
Run Code Online (Sandbox Code Playgroud)
通过API调用运行Python Spark应用程序 - 提交应用程序 - 响应 - SSH失败进入Worker
我的python应用程序存在于
/root/spark/work/driver-id/wordcount.py
Run Code Online (Sandbox Code Playgroud)
可以在中找到错误
/root/spark/work/driver-id/stderr
Run Code Online (Sandbox Code Playgroud)
显示以下错误 -
Traceback (most recent call last):
File "/root/wordcount.py", line 34, in <module>
main()
File "/root/wordcount.py", line 18, in main
sc = SparkContext(conf=conf)
File "/root/spark/python/lib/pyspark.zip/pyspark/context.py", line 115, in __init__
File "/root/spark/python/lib/pyspark.zip/pyspark/context.py", line 172, in _do_init
File "/root/spark/python/lib/pyspark.zip/pyspark/context.py", line 235, in _initialize_context
File "/root/spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 1064, in __call__
File "/root/spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py", line 308, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.io.FileNotFoundException: File file:/tmp/spark-events does not exist.
at …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用命令 Command 在本地测试无服务器 lambda 函数
serverless invoke local -f send --log --stage test
Run Code Online (Sandbox Code Playgroud)
错误
python3: can't open file '/snapshot/serverless/lib/plugins/aws/invokeLocal/invoke.py': [Errno 2] No such file or directory
Run Code Online (Sandbox Code Playgroud)
此命令在包含 serverless.yml、requirements.txt、handler.py 的目录中运行。
无法理解为什么会发生此错误以及解决方案是什么
用于提交作业的API调用.响应状态 - 正在运行
在群集UI上 -
工人(奴隶) - 工人-20160712083825-172.31.17.189-59433是活着的
核心1用于2
内存1Gb中的6个使用过
运行应用程序
app-20160713130056-0020 - 等待5小时以来
核心 - 无限制
申请职位描述
活跃舞台
在/root/wordcount.py:23中的reduceByKey
待定阶段
takeOrdered at /root/wordcount.py:26
跑步司机 -
stderr log page for driver-20160713130051-0025
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
Run Code Online (Sandbox Code Playgroud)
根据初始职位没有接受任何资源; 检查您的集群UI以确保工作人员已注册并且具有足够的资源 Slaves尚未启动 - 因此它没有资源.
但在我的情况下 - 奴隶1正在工作
根据Unable to Execute不仅仅是一个火花作业"初始作业还没有接受任何资源" 我使用的是deploy-mode = cluster(不是客户端)因为我有1个master 1 slave,并且通过Postman/Anywhere调用Submit API
群集还有可用的核心,RAM,内存 - 静止作业会抛出UI传达的错误
根据TaskSchedulerImpl:初始工作没有接受任何资源; 我分配了
~/spark-1.5.0/conf/spark-env.sh …Run Code Online (Sandbox Code Playgroud) 我在 Mac 上使用 VS Code。我经常在 VS Code 中使用集成终端来执行与我的工作区/项目相关的命令行操作 [而不是使用终端或 iTerm]。
我可以通过 VS Code 中的集成终端对基本 shell 命令使用自动完成功能。例如,执行cd 后跟一个Tab自动为我建议可能的目录选项[就像终端或 iTerm 一样]。
但是,此自动建议不适用于 git 命令。例如,执行git br后跟一个Tab应该完成,git branch但那是行不通的。
我查看了 VS Code 中的用户设置 [通过调用Cmd + Shift + P-> 用户设置 -> 用户 -> 扩展 -> Git 我验证了 Mac 的默认终端是“终端”。但是,它并没有为自动完成选择 Git 命令。
缺少了什么?
TF官方文档[1]提出了2种控制GPU内存分配的方法
内存增长允许 TF 根据使用情况增长内存
tf.config.experimental.set_memory_growth(gpus[0], True)
Run Code Online (Sandbox Code Playgroud)
虚拟设备配置设置内存限制
tf.config.experimental.set_virtual_device_configuration(
gpus[0],
[tf.config.experimental.VirtualDeviceConfiguration(memory_limit=1024)])
Run Code Online (Sandbox Code Playgroud)
那么,这两种说法是否可以结合起来使用呢?或者这些是相互排斥和相反的?
发言:我们可以将内存增长设置为true,但同时限制内存限制吗?
参考
[1] https://www.tensorflow.org/guide/gpu#limiting_gpu_memory_growth
python ×4
amazon-ec2 ×2
apache-spark ×2
mongodb ×2
amazon-ecr ×1
api ×1
apt-get ×1
aws-lambda ×1
dictionary ×1
git ×1
gpu ×1
import ×1
items ×1
json ×1
local ×1
localhost ×1
memory ×1
opencv ×1
pkg-config ×1
pyspark ×1
serverless ×1
tensorflow ×1
terminal ×1