小编Mit*_*ops的帖子

如何导出包含从github上pip安装的包的conda环境?

我知道我可以使用如下语法导出 conda 环境:

conda env export -n my_env -f /somewhere/environment.yml
Run Code Online (Sandbox Code Playgroud)

并使用以下命令导入它们:

conda env create -f /somewhere/environment.yml -p /somewhere/else/
Run Code Online (Sandbox Code Playgroud)

但是,如果我从我的私人 github 安装了一个包,使用如下语法

(my_env) ~/ $ pip install git+https://github.com/user/my_package.git@master#egg=my_package
Run Code Online (Sandbox Code Playgroud)

或者将其放入我的 中requirements.txt,如下所示:

aiofiles==0.4.0
git+https://github.com/user/my_package.git@master#egg=my_package
chardet==3.0.4
Run Code Online (Sandbox Code Playgroud)

当我导出时,我看到这个:

name: my_env
channels:
  - defaults
dependencies:
  - ca-certificates=2019.5.15=0
...
  - pip:
    - aiofiles==0.4.0
    - my_package   # UH OH, NO github INSTRUCTION OR VERSION
    - chardet==3.0.4
Run Code Online (Sandbox Code Playgroud)

这是一个问题,因为当我尝试运行时:

conda env create -f /somewhere/environment.yml -p /somewhere/else/
Run Code Online (Sandbox Code Playgroud)

我收到一条错误,指出 conda 无法安装,因为找不到my_package. 这是有道理的,环境并没有告诉它去 github 中查找。

我怎样才能要求conda …

python pip github conda

5
推荐指数
0
解决办法
1883
查看次数

来自转换器的 BERT 句子嵌入

我正在尝试从 BERT 模型中的隐藏状态中获取句子向量。查看这里的 Huggingface BertModel 说明,其中说:

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertModel.from_pretrained("bert-base-multilingual-cased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt') 
output = model(**encoded_input)
Run Code Online (Sandbox Code Playgroud)

所以首先要注意,因为它在网站上,它 /not/ 运行。你得到:

>>> Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'BertTokenizer' object is not callable
Run Code Online (Sandbox Code Playgroud)

但它看起来像是一个小改动修复了它,因为您不直接调用标记器,而是要求它对输入进行编码:

encoded_input = tokenizer.encode(text, return_tensors="pt")
output = model(encoded_input)
Run Code Online (Sandbox Code Playgroud)

好的,除此之外,我得到的张量的形状与我预期的不同:

>>> output[0].shape
torch.Size([1,11,768])
Run Code Online (Sandbox Code Playgroud)

这是很多层。哪个是用于句子嵌入的正确层? [0]? [-1]? 平均几个?我的目标是能够与这些进行余弦相似度,所以我需要一个适当的 1xN 向量而不是 NxK 张量。

我看到流行的bert-as-a-service …

bert-language-model huggingface-transformers

5
推荐指数
3
解决办法
5949
查看次数

计算或列出 redis 流中所有已确认的消息

我知道我可以使用xlen或获得流的总长度xinfo stream mystream full.

我也明白我可以xpending用来获取待处理队列的长度,还没有被确认的项目。

是否有命令可以告诉我 / 已经 / 被ack“删除”的项目的数量或身份?(除了假设xlen- len(xpending)= len(unackd)?)

redis redis-streams

5
推荐指数
1
解决办法
567
查看次数

pandas agg 中的列列表的份额/百分比

我有这种数据框

dat = [{"date": datetime.date(2021,1,1), "c_id" : "a", "var1": 2, "var2":  1, "var3" : 10 },
       {"date": datetime.date(2021,1,1), "c_id" : "b", "var1": 2, "var2":  0, "var3" : 20 },
       {"date": datetime.date(2021,2,1), "c_id" : "a", "var1": 2, "var2":  1, "var3" : 30 },
       {"date": datetime.date(2021,2,1), "c_id" : "b", "var1": 2, "var2":  3, "var3" : 10 },
       {"date": datetime.date(2021,3,1), "c_id" : "a", "var1": 2, "var2":  1, "var3" : 30 },
       {"date": datetime.date(2021,3,1), "c_id" : "b", "var1": 2, "var2":  3, "var3" : 20 …
Run Code Online (Sandbox Code Playgroud)

python pandas

5
推荐指数
2
解决办法
56
查看次数

是否有一个包可以将 network() 或 igraph() 网络转换为 R 中兼容的 Rgraphviz?

花了很多时间用 SNA 和 igraph 包中用于分析的格式格式化网络。这些和 Rgraphviz 所需的数据类型之间有桥梁吗?我的意思是,保留:源到目的地、标签、边缘权重、其他属性,如颜色等。

r graphviz igraph

4
推荐指数
1
解决办法
1524
查看次数

在Twitter bootstrap中缩小尺寸?

我喜欢使用twitter bootstrap的所有项目的大小(在我的浏览器中)我缩小了两次,ctrl - ,ctrl - ,而不是默认,用ctrl + 0查看.

缩放会影响字体大小,响应式设计以及我想使用引导程序的十几个其他重要原因,所以我不想只是修复宽度并打破所有这些.

Bootstrap是否有一个CSS值(或一小部分),我可以在某处生成像这样缩放和大小调整的东西?我意识到设置缩放本身更像是一个浏览器问题,所以我宁愿不用那样硬编码.

编辑

答案可能更接近于此:

使用Bootstrap设置body的最大宽度

......这表明没有?我必须重新编译bootstrap?

css css3 less twitter-bootstrap

4
推荐指数
1
解决办法
1万
查看次数

Python多处理映射函数错误

我有一个简单的多处理示例,我正在尝试创建.普通的map()函数版本有效,但是当改为Pool.map时,我收到一个奇怪的错误:

from multiprocessing import Pool
from functools import partial
x = [1,2,3]
y = 10
f = lambda x,y: x**2+y

# ordinary map works:
map(partial(f,y=y),x)
# [11, 14, 19]

# multiprocessing map does not
p = Pool(4)
p.map(partial(f, y=y), x)
Exception in thread Thread-2:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 551, in __bootstrap_inner
    self.run()
  File "/usr/lib/python2.7/threading.py", line 504, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 319, in _handle_tasks
    put(task)
PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed …
Run Code Online (Sandbox Code Playgroud)

python parallel-processing functional-programming multiprocessing functools

4
推荐指数
1
解决办法
2439
查看次数

Python词典列表投影,过滤器或子集?

我正在尝试创建我认为是从较大字典空间到较小维度空间的"投影".所以,如果我有:

mine = [
{"name": "Al", "age": 10},
{"name": "Bert", "age": 15},
{"name": "Charles", "age": 17}
]
Run Code Online (Sandbox Code Playgroud)

我试图找到一个只返回的函数表达式:

[
{"name": "Al"},
{"name": "Bert"},
{"name": "Charles"}
]
Run Code Online (Sandbox Code Playgroud)

我试过了...

>>> filter(lambda x: x['name'],mine)
[{'age': 10, 'name': 'Al'}, {'age': 15, 'name': 'Bert'}, {'age': 17, 'name': 'Charles'}]
>>> map(lambda x : x['name'],mine)
['Al', 'Bert', 'Charles']
Run Code Online (Sandbox Code Playgroud)

但似乎仍然缺少正确的功能.我知道如何使用列表理解,但想要学习如何在功能上这样做.

python functional-programming functools

4
推荐指数
1
解决办法
3006
查看次数

在nohup之后的工作-l

在我使用nohup启动它之后,如何监视仍在运行的作业(我猜是分离的?),退出服务器并重新登录?通常情况下,我jobs -l会查看正在运行的内容,但这显示为空白.

linux bash nohup

4
推荐指数
1
解决办法
1933
查看次数

Python中datetime.datetime对象的正确None或null条目是什么?

我正在使用pymongo将一些日期加载到mongodb中.因为pymongo自动转换为BSON,我正在使用datetime的datetime.strptime函数将输入字符串如"12/04/2013"​​转换为Date对象,如下所示:

>>> datetime.datetime.strptime("12/04/2013",'%m/%d/%Y')
datetime.datetime(2013, 12, 4, 0, 0)
Run Code Online (Sandbox Code Playgroud)

这样它们就可以使用标准的mongo查询进行搜索.

我的问题是:我还想表示我不知道什么日期的东西是等价的None,所以我可以None对它进行空值测试.我知道我可以把这个日期放在过去或未来的一个try-catch块进入''或者很远None,但这是hacky思考,我宁愿用一个合适的None-type来表示实际上是什么.

如何输入无日期时间?

python datetime date-math mongodb nonetype

4
推荐指数
1
解决办法
1万
查看次数