我知道我可以使用如下语法导出 conda 环境:
conda env export -n my_env -f /somewhere/environment.yml
Run Code Online (Sandbox Code Playgroud)
并使用以下命令导入它们:
conda env create -f /somewhere/environment.yml -p /somewhere/else/
Run Code Online (Sandbox Code Playgroud)
但是,如果我从我的私人 github 安装了一个包,使用如下语法:
(my_env) ~/ $ pip install git+https://github.com/user/my_package.git@master#egg=my_package
Run Code Online (Sandbox Code Playgroud)
或者将其放入我的 中requirements.txt,如下所示:
aiofiles==0.4.0
git+https://github.com/user/my_package.git@master#egg=my_package
chardet==3.0.4
Run Code Online (Sandbox Code Playgroud)
当我导出时,我看到这个:
name: my_env
channels:
- defaults
dependencies:
- ca-certificates=2019.5.15=0
...
- pip:
- aiofiles==0.4.0
- my_package # UH OH, NO github INSTRUCTION OR VERSION
- chardet==3.0.4
Run Code Online (Sandbox Code Playgroud)
这是一个问题,因为当我尝试运行时:
conda env create -f /somewhere/environment.yml -p /somewhere/else/
Run Code Online (Sandbox Code Playgroud)
我收到一条错误,指出 conda 无法安装,因为找不到my_package. 这是有道理的,环境并没有告诉它去 github 中查找。
我怎样才能要求conda …
我正在尝试从 BERT 模型中的隐藏状态中获取句子向量。查看这里的 Huggingface BertModel 说明,其中说:
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertModel.from_pretrained("bert-base-multilingual-cased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)
Run Code Online (Sandbox Code Playgroud)
所以首先要注意,因为它在网站上,它 /not/ 运行。你得到:
>>> Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: 'BertTokenizer' object is not callable
Run Code Online (Sandbox Code Playgroud)
但它看起来像是一个小改动修复了它,因为您不直接调用标记器,而是要求它对输入进行编码:
encoded_input = tokenizer.encode(text, return_tensors="pt")
output = model(encoded_input)
Run Code Online (Sandbox Code Playgroud)
好的,除此之外,我得到的张量的形状与我预期的不同:
>>> output[0].shape
torch.Size([1,11,768])
Run Code Online (Sandbox Code Playgroud)
这是很多层。哪个是用于句子嵌入的正确层? [0]? [-1]? 平均几个?我的目标是能够与这些进行余弦相似度,所以我需要一个适当的 1xN 向量而不是 NxK 张量。
我看到流行的bert-as-a-service …
我知道我可以使用xlen或获得流的总长度xinfo stream mystream full.
我也明白我可以xpending用来获取待处理队列的长度,还没有被确认的项目。
是否有命令可以告诉我 / 已经 / 被ack“删除”的项目的数量或身份?(除了假设xlen- len(xpending)= len(unackd)?)
我有这种数据框
dat = [{"date": datetime.date(2021,1,1), "c_id" : "a", "var1": 2, "var2": 1, "var3" : 10 },
{"date": datetime.date(2021,1,1), "c_id" : "b", "var1": 2, "var2": 0, "var3" : 20 },
{"date": datetime.date(2021,2,1), "c_id" : "a", "var1": 2, "var2": 1, "var3" : 30 },
{"date": datetime.date(2021,2,1), "c_id" : "b", "var1": 2, "var2": 3, "var3" : 10 },
{"date": datetime.date(2021,3,1), "c_id" : "a", "var1": 2, "var2": 1, "var3" : 30 },
{"date": datetime.date(2021,3,1), "c_id" : "b", "var1": 2, "var2": 3, "var3" : 20 …Run Code Online (Sandbox Code Playgroud) 花了很多时间用 SNA 和 igraph 包中用于分析的格式格式化网络。这些和 Rgraphviz 所需的数据类型之间有桥梁吗?我的意思是,保留:源到目的地、标签、边缘权重、其他属性,如颜色等。
我喜欢使用twitter bootstrap的所有项目的大小(在我的浏览器中)我缩小了两次,ctrl - ,ctrl - ,而不是默认,用ctrl + 0查看.
缩放会影响字体大小,响应式设计以及我想使用引导程序的十几个其他重要原因,所以我不想只是修复宽度并打破所有这些.
Bootstrap是否有一个CSS值(或一小部分),我可以在某处生成像这样缩放和大小调整的东西?我意识到设置缩放本身更像是一个浏览器问题,所以我宁愿不用那样硬编码.
编辑
答案可能更接近于此:
......这表明没有?我必须重新编译bootstrap?
我有一个简单的多处理示例,我正在尝试创建.普通的map()函数版本有效,但是当改为Pool.map时,我收到一个奇怪的错误:
from multiprocessing import Pool
from functools import partial
x = [1,2,3]
y = 10
f = lambda x,y: x**2+y
# ordinary map works:
map(partial(f,y=y),x)
# [11, 14, 19]
# multiprocessing map does not
p = Pool(4)
p.map(partial(f, y=y), x)
Exception in thread Thread-2:
Traceback (most recent call last):
File "/usr/lib/python2.7/threading.py", line 551, in __bootstrap_inner
self.run()
File "/usr/lib/python2.7/threading.py", line 504, in run
self.__target(*self.__args, **self.__kwargs)
File "/usr/lib/python2.7/multiprocessing/pool.py", line 319, in _handle_tasks
put(task)
PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed …Run Code Online (Sandbox Code Playgroud) python parallel-processing functional-programming multiprocessing functools
我正在尝试创建我认为是从较大字典空间到较小维度空间的"投影".所以,如果我有:
mine = [
{"name": "Al", "age": 10},
{"name": "Bert", "age": 15},
{"name": "Charles", "age": 17}
]
Run Code Online (Sandbox Code Playgroud)
我试图找到一个只返回的函数表达式:
[
{"name": "Al"},
{"name": "Bert"},
{"name": "Charles"}
]
Run Code Online (Sandbox Code Playgroud)
我试过了...
>>> filter(lambda x: x['name'],mine)
[{'age': 10, 'name': 'Al'}, {'age': 15, 'name': 'Bert'}, {'age': 17, 'name': 'Charles'}]
>>> map(lambda x : x['name'],mine)
['Al', 'Bert', 'Charles']
Run Code Online (Sandbox Code Playgroud)
但似乎仍然缺少正确的功能.我知道如何使用列表理解,但想要学习如何在功能上这样做.
在我使用nohup启动它之后,如何监视仍在运行的作业(我猜是分离的?),退出服务器并重新登录?通常情况下,我jobs -l会查看正在运行的内容,但这显示为空白.
我正在使用pymongo将一些日期加载到mongodb中.因为pymongo自动转换为BSON,我正在使用datetime的datetime.strptime函数将输入字符串如"12/04/2013"转换为Date对象,如下所示:
>>> datetime.datetime.strptime("12/04/2013",'%m/%d/%Y')
datetime.datetime(2013, 12, 4, 0, 0)
Run Code Online (Sandbox Code Playgroud)
这样它们就可以使用标准的mongo查询进行搜索.
我的问题是:我还想表示我不知道什么日期的东西是等价的None,所以我可以None对它进行空值测试.我知道我可以把这个日期放在过去或未来的一个try-catch块进入''或者很远None,但这是hacky思考,我宁愿用一个合适的None-type来表示实际上是什么.
如何输入无日期时间?