小编Krz*_*ski的帖子

从GitHub存储个人访问令牌的位置?

在GitHub中生成个人访问令牌后,是否有必要将其存储在本地的某个位置?

如果是,是否有任何可以存储的首选方式?

git github access-token

30
推荐指数
8
解决办法
2万
查看次数

如果另一列中的相应值也是NaN,则将一列中的所有值设置为NaN

目标是通过将另一列中的一列中的所有值设置为NaN来维持两列之间的关系.

拥有以下数据框:

df = pd.DataFrame({'a': [np.nan, 2, np.nan, 4],'b': [11, 12 , 13, 14]})

     a   b
0  NaN  11
1    2  12
2  NaN  13
3    4  14
Run Code Online (Sandbox Code Playgroud)

从维护列的关系a,以列b,所有NaN值都在更新的结果:

     a    b
0  NaN  NaN
1    2   12
2  NaN  NaN
3    4   14
Run Code Online (Sandbox Code Playgroud)

可以实现所需行为的一种方法是:

df.b.where(~df.a.isnull(), np.nan)
Run Code Online (Sandbox Code Playgroud)

有没有其他方法来维持这种关系?

python updating dataframe pandas

9
推荐指数
1
解决办法
344
查看次数

检查 Azure 中 Databricks 运行时的版本

是否可以在 Azure 中检查 Databricks Runtime 的版本?

version azure azure-databricks

8
推荐指数
2
解决办法
5176
查看次数

快速检查pandas系列是否包含负值的方法

检查给定的pandas系列是否包含负值的最快方法是什么.

例如,对于s下面的系列,答案是True.

s = pd.Series([1,5,3,-1,7])

0    1
1    5
2    3
3   -1
4    7
dtype: int64
Run Code Online (Sandbox Code Playgroud)

python series negative-number booleanquery pandas

6
推荐指数
2
解决办法
3944
查看次数

在Seaborn中使用FacetGrid为所有构面重复x轴标签

我正在处理此处显示的FacetGrid示例,该示例导致下面的图。在我的数据集中,有很多图,将轴标签重复到每个构面(不仅在底部)会很方便。x

对于此示例,62, ..., 76应为每个A-J构面重复这些值。

在此处输入图片说明

python plot matplotlib seaborn facet-grid

6
推荐指数
2
解决办法
1587
查看次数

如何使用pysftp仅同步远程目录中已更改的文件?

我正在使用 pysftp 库的get_r函数(https://pysftp.readthedocs.io/en/release_0.2.9/pysftp.html#pysftp.Connection.get_r)从 sftp 服务器获取目录结构的本地副本。

对于远程目录的内容已更改并且我只想获取自上次运行脚本以来更改的文件的情况,这是正确的方法吗?

该脚本应该能够递归地同步远程目录并镜像远程目录的状态 - fe 使用参数控制是否应该删除本地过时的文件(远程服务器上不再存在的文件),以及对应该获取现有文件和新文件。

我目前的方法在这里。

用法示例:

from sftp_sync import sync_dir

sync_dir('/remote/path/', '/local/path/')
Run Code Online (Sandbox Code Playgroud)

python sftp synchronization data-synchronization pysftp

5
推荐指数
1
解决办法
5605
查看次数

如何使用XlsxWriter冻结第一行和第一列?

我正在将熊猫导出DataFrame到Excel,并且由于它包含许多行和列,因此在浏览其内容时保留第一行和第一列会很有用。

Excel中存在一项功能,可以冻结第一行和第一列。通过将DataFrames导出到excelXlsxWriter时可以访问?

python excel dataframe pandas xlsxwriter

5
推荐指数
2
解决办法
4047
查看次数

是否可以使用 pyarrow 从 S3 访问点读取镶木地板文件

可以从 S3 读取 parquet 文件,如此处此处所示

我正在使用S3 接入点。拥有 S3 接入点 ARN 是否可以从中读取 parquet 文件?

我正在尝试使用以下示例代码:

import s3fs
import pyarrow.parquet as pq

S3_ACCESS_POINT_ARN = "..."

s3_filesystem = s3fs.S3FileSystem()
s3_file_uri = f"{S3_ACCESS_POINT_ARN}/examples/example1.parquet"
example1_df = pq.ParquetDataset(s3_file_uri, s3_filesystem).read_pandas().to_pandas()
Run Code Online (Sandbox Code Playgroud)

执行结果为:

ParamValidationError: Parameter validation failed:
Invalid bucket name S3_ACCESS_POINT_ARN: Bucket name must match the regex "^[a-zA-Z0-9.\-_]{1,255}$" or be an ARN matching the regex "^arn:(aws).*:s3:[a-z\-0-9]+:[0-9]{12}:accesspoint[/:][a-zA-Z0-9\-]{1,63}$"
Run Code Online (Sandbox Code Playgroud)

我还尝试替换/为,结果是:S3_ACCESS_POINT_ARN

PermissionError: AccessDenied
Run Code Online (Sandbox Code Playgroud)

最后我尝试使用:

pq.read_table(S3_ACCESS_POINT_ARN, s3_filesystem).to_pandas()
Run Code Online (Sandbox Code Playgroud)

结果是:

OsError: Passed non-file path: S3_ACCESS_POINT_ARN …
Run Code Online (Sandbox Code Playgroud)

amazon-web-services python-3.x boto3 pyarrow amazon-s3-access-points

5
推荐指数
1
解决办法
1550
查看次数

使用 CDK 创建的 AWS Glue JDBC 连接需要在控制台中输入密码才能生效

我正在 Glue 中使用用户名和密码的机密创建 JDBC 连接。我可以在控制台中看到用户名是从秘密中正确读取的,所以这不是问题。一旦我编辑详细信息并在控制台中输入密码,它就会生效。我的做法有问题吗?

glue.CfnConnection(
        self,
        id="JDBCConnection",
        catalog_id=self.account,
        connection_input=glue.CfnConnection.ConnectionInputProperty(
            name="jdbc_connection",
            connection_type="JDBC",
            physical_connection_requirements=glue.CfnConnection.PhysicalConnectionRequirementsProperty(
                subnet_id=cdk.Fn.import_value("PrivateSubnet1"),
                security_group_id_list=[jdbc_connection_security_group.attr_group_id],
            ),
            connection_properties={
                "JDBC_CONNECTION_URL": "jdbc:<JDBC_URL>",
                "USERNAME": "{{resolve:secretsmanager:jdbc_username}}",
                "PASSWORD": "{{resolve:secretsmanager:jdbc_password}}",
            },
        ),
)
Run Code Online (Sandbox Code Playgroud)

amazon-web-services aws-glue aws-cdk aws-glue-connection

5
推荐指数
1
解决办法
3107
查看次数

unittest - 如何断言两个可能的 NaN 值是否相等

在我的测试用例中,我假设如果两个值NaN相等,则它们相等。使用unittest断言的表达方式是什么?下面介绍的两个常用函数不处理这种情况。

v1 = np.nan
v2 = np.nan
self.assertEquals(v1, v2)
self.assertTrue(v1 == v2)
Run Code Online (Sandbox Code Playgroud)

现在对我有用的解决方案是在内部使用布尔表达式assertTrue

self.assertTrue(v1 == v2 or (np.isnan(v1) and np.isnan(v2))
Run Code Online (Sandbox Code Playgroud)

python equality nan python-unittest

4
推荐指数
2
解决办法
3817
查看次数