小编sop*_*ros的帖子

ldd是否显示所有递归依赖项

假设我有一个A.so文件,其依赖关系是从ldd找到的

#ldd A
[...]
libxml2.so.2 => /usr/lib64/libxml2.so.2 (0x00007faaf9722000)
libxyz.so.49 => /usr/lib64/libxyz.so.49 (0x00007faaf5689000)
Run Code Online (Sandbox Code Playgroud)

现在这意味着,在存在libxml2.so.2和libxyz.so.49的情况​​下,一切都设置为让我使用A.so.如果libxyz.so.49内部依赖某些libabc.so.2怎么样?

我想澄清一下,当从ldd找到A.so的依赖关系时,libabc.so.2是否会被列出,或者不会反映出来.如果没有,那么我怎样才能找到所有相互依赖关系.可以通过调用来消除链中的相互依赖性,并且在核心/崩溃中没有相同的结果

unix shared-libraries ldd

7
推荐指数
1
解决办法
3533
查看次数

Pandas dataframe:每批行的操作

我有一个 pandas DataFrame df,我想为其计算每批行的一些统计信息。

例如,假设我有一个batch_size = 200000.

对于每批batch_size行,我希望获得IDDataFrame 列的唯一值的数量。

我怎样才能做这样的事情呢?

这是我想要的一个例子:

print(df)

>>
+-------+
|     ID|
+-------+
|      1|
|      1|
|      2|
|      2|
|      2|
|      3|
|      3|
|      3|
|      3|
+-------+

batch_size = 3

my_new_function(df,batch_size)

>>
For batch 1 (0 to 2) :
2 unique values 
1 appears 2 times
2 appears 1 time

For batch 2 (3 to 5) : 
2 unique values 
2 appears 2 times …
Run Code Online (Sandbox Code Playgroud)

python performance batch-processing pandas

7
推荐指数
2
解决办法
2万
查看次数

Wordpiece 标记化与传统词形还原?

我正在研究 NLP 预处理。在某些时候,我想实现一个上下文敏感的词嵌入,作为一种辨别词义的方式,我正在考虑使用 BERT 的输出来做到这一点。我注意到 BERT 使用 WordPiece 标记化(例如,“播放”->“播放”+“##ing”)。

现在,我使用标准分词器对文本进行预处理,该分词器在空格/一些标点符号上拆分,然后我有一个词形还原器(“播放”->“播放”)。我想知道 WordPiece 标记化与标准标记化 + 词形还原相比有什么好处。我知道 WordPiece 可以帮助解决词汇量不足的问题,但还有其他方法吗?也就是说,即使我最终没有使用 BERT,我是否应该考虑用 wordpiece tokenization 替换我的 tokenizer + lemmatizer?在什么情况下会有用?

nlp tokenize lemmatization

7
推荐指数
1
解决办法
897
查看次数

Python 3.8 无法编译模块_uuid

编译最新版本的 Python 3.8,UUID 模块失败并出现以下错误:

/home/centos/Python-3.8.0/Modules/_uuidmodule.c: In function ‘py_uuid_generate_time_safe’:
/home/centos/Python-3.8.0/Modules/_uuidmodule.c:19:5: error: unknown type name ‘uuid_t’
     uuid_t uuid;
     ^
/home/centos/Python-3.8.0/Modules/_uuidmodule.c:36:5: error: implicit declaration of function ‘uuid_generate_time’ [-Werror=implicit-function-declaration]
     uuid_generate_time(uuid);
     ^
/home/centos/Python-3.8.0/Modules/_uuidmodule.c:37:33: warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
     return Py_BuildValue("y#O", (const char *) uuid, sizeof(uuid), Py_None);
                                 ^
cc1: some warnings being treated as errors
Run Code Online (Sandbox Code Playgroud)

我安装了所有相关的软件包,没有任何问题。

python uuid compilation python-3.x python-3.8

7
推荐指数
1
解决办法
2892
查看次数

Python没有释放内存

我一直在使用XML资源,并且似乎Python正在发出奇怪的行为。我已经测试了lxml库和库xml.etree.ElementTree,两者都应在收集内存之后才由gc。我输入gc.collect()了一个测试,但没有其他反应:内存仍由进程保留。

进口:

import time
from lxml import etree
import gc
Run Code Online (Sandbox Code Playgroud)

这是代码:

def process_alternative():
    """
    This alternative process will use lxml
    """
    filename = u"/tmp/randomness.xml"
    fd = open(filename, 'r')
    tree = etree.parse(fd)
    root = tree.getroot()

    accum = {}

    for _item in root.iter("*"):
        for _field in _item.iter("*"):
            if _field.tag in accum.keys():
                accum[_field.tag] += 1
            else:
                accum[_field.tag] = 1

    for key in accum.keys():
        print "%s -> %i" % (key, accum[key])

    fd.close()
    gc.collect()
Run Code Online (Sandbox Code Playgroud)

这是我的主要

if __name__ …
Run Code Online (Sandbox Code Playgroud)

python garbage-collection

6
推荐指数
1
解决办法
2917
查看次数

为什么OpenFST似乎没有"运行"或"接受"或"转换"命令?

我听说过很多关于OpenFST的好东西,但我努力让它发挥作用.我正在构建一个FST自动机(fstcompile),我想用它作为接受器来检查一组字符串是否匹配(非常相似的正则表达式,但具有OpenFST提供的自动机优化提供的优点).事情就是这样:
如何检查生成的自动机是否接受字符串?

我发现一个建议是输入字符串应该变成一个简单的自动机,并由接受自动机组成以获得结果.我发现它非常麻烦和奇怪.有更简单的方法(通过cmd行或Python/C++)?

python openfst fst

6
推荐指数
1
解决办法
479
查看次数

具有缺失值的 SMOTE

我正在尝试使用imblearnPython 中的包中的 SMOTE,但我的数据有很多缺失值,并且出现以下错误:

ValueError:输入包含 NaN、无穷大或对于 dtype('float64') 来说太大的值。

我查了一下这里的参数,好像没有处理缺失值的。

有没有办法生成带有缺失值的合成样本?

python scikit-learn imblearn

6
推荐指数
1
解决办法
9303
查看次数

如何在 Airflow 中使用 HashiCorp Vault?

我开始使用 Apache Airflow,我想知道如何有效地使用存储在 Vault 中的机密和密码。不幸的是,除了Airflow项目本身尚未实现的钩子之外,搜索不会返回有意义的答案。

我总是可以使用 Python 的hvac模块来一般地访问 Vault,PythonOperator但我想知道是否有更好的方法或好的做法(例如,我错过了一个 Airflow 插件)。

python python-3.x airflow hashicorp-vault

6
推荐指数
1
解决办法
2072
查看次数

为什么要在 Julia 中创建抽象超类型?

我正在查看某人的代码,它<:在创建结构时使用。我查看了文档,发现这意味着他们正在创建一个抽象超类型。谁能解释一下这是什么以及为什么要使用它?

types supertype julia

6
推荐指数
2
解决办法
1442
查看次数

在python中导入类时显示警告

我在不同的模块中有一个类,我想在DeprecationWarning导入该类时显示一个。这样做的正确方法是什么?

模块 1 包含 -

class Test:
    pass
Run Code Online (Sandbox Code Playgroud)

模块 2 包含 -

from module1 import Test #this line should show a DeprecationWarning.
Run Code Online (Sandbox Code Playgroud)

python warnings exception deprecation-warning

6
推荐指数
1
解决办法
1051
查看次数