Dataproc 导入存储在谷歌云存储 (gcs) 存储桶中的 python 模块

Question

我在 GCS 存储桶上有以下结构：

1. my_bucket/笔记本/jupyter/
   • 模块
     • 我的模块.py
     • 初始化.py
   • notebook_1.ipynb

如何在 notebook_1.ipynb 中导入 mymodule？（notebook_1.ipynb 是 python 笔记本，不是 spark 笔记本）

Answer 1

恐怕这是不可能的，因为您需要在运行脚本的目录或sys.path 中拥有该模块。

作为一种选择，您可以实现一个功能，从您的云存储下载模块，使用其功能，然后将其删除。

这是我为测试目的编写的一个简单示例：

greetings.py（我存储在我的存储桶中的文件）：

def say_hello(name):
    return "Hello {}!".format(name)


def say_hi(name):
    return "Hi {}!".format(name)

主要.py：

from google.cloud import storage
import os


def get_module():
    """
    Instantiate Storage Client and return the blob located in the bucket.
    """
    client = storage.Client()
    bucket = client.get_bucket('<my-bucket-name>')
    return bucket.blob('greetings.py')


def use_my_module(my_method, val):
    """
    Download the module, use it and then remove.    
    """
    blob = get_module()
    blob.download_to_filename('my_module.py')
    import my_module

    result = getattr(my_module, my_method)(val)
    os.remove('my_module.py')
    return result


print(use_my_module('say_hello', 'User 1'))
print(use_my_module('say_hi', 'User 2'))

输出：

Hello User 1!
Hi User 2!

我不能说上面的例子对你的场景是否有效，但我希望它能给你一些想法。

编辑：

关于您的模块位于脚本目录（notebook_1.ipynb）的子目录中的情况- 您可以像这样导入模块：

import modules.mymodule

然后，您可以将其与以下结构一起使用：

modules.mymodule.<your-method>