摘要:有些本地软件包可以工作,有些则不行
我的梁应用程序的结构:
-setup.py
-app/__init__.py
-app/main.py
-package1/__init__.py
-package1/one.py
-package2/__init__.py
-package2/two.py
-package3/__init__.py
-package3/three.py
Run Code Online (Sandbox Code Playgroud)
在main.py中:
from package1 import one
from package2 import two
from package3 import three
Run Code Online (Sandbox Code Playgroud)
在setup.py中
import setuptools
setuptools.setup(
name='beam',
version='1.0',
install_requires=['apache-beam[gcp]',
'google-cloud==0.34.0',
'google-cloud-bigquery==0.25.0',
'requests==2.19.1',
'google-cloud-storage==1.12.0'
],
packages=setuptools.find_packages(),
)
Run Code Online (Sandbox Code Playgroud)
运行时,通过使用python -m app.main:
使用直接运行程序(本地运行),没问题。
使用 DataflowRunner (发送到 gogole 数据流),我遇到此错误:
apache_beam.runners.dataflow.dataflow_runner.DataflowRuntimeException:数据流管道失败。状态:失败,错误:回溯(最近一次调用):文件“/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py”,第 642 行,在 do_work work_executor.execute() 文件中“ /usr/local/lib/python2.7/dist-packages/dataflow_worker/executor.py”,第 156 行,执行 op.start() 文件“apache_beam/runners/worker/operations.py”,第 344 行,在 apache_beam .runners.worker.operations.DoOperation.start def start(self):文件“apache_beam/runners/worker/operations.py”,第 345 行,在 apache_beam.runners.worker.operations.DoOperation.start 中,带有 self.scoped_start_state:文件“apache_beam/runners/worker/operations.py”,第 350 行,在 apache_beam.runners.worker.operations.DoOperation.start pickler.loads(self.spec.serialized_fn)) 文件“/usr/local/lib/python2.7 /dist-packages/apache_beam/internal/pickler.py”,第 244 行,加载中返回 dill.loads(s) …
现在的情况
该管道的目的是从发布/订阅中读取带有地理数据的有效负载,然后对这些数据进行转换和分析,最后返回条件是否为真或假
with beam.Pipeline(options=pipeline_options) as p:
raw_data = (p
| 'Read from PubSub' >> beam.io.ReadFromPubSub(
subscription='projects/XXX/subscriptions/YYY'))
geo_data = (raw_data
| 'Geo data transform' >> beam.Map(lambda s: GeoDataIngestion(s)))
def GeoDataIngestion(string_input):
<...>
return True or False
Run Code Online (Sandbox Code Playgroud)
理想情况1
如果 GeoDataIngestion 结果为 true,则 raw_data 将存储在大查询中
geo_data = (raw_data
| 'Geo data transform' >> beam.Map(lambda s: GeoDataIngestion(s))
| 'Evaluate condition' >> beam.Map(lambda s: Condition(s))
)
def Condition(condition):
if condition:
<...WriteToBigQuery...>
#The class I used before to store raw_data without depending on evaluate condition:
class WriteToBigQuery(beam.PTransform): …Run Code Online (Sandbox Code Playgroud) 我们通过气流使用阿帕奇光束。默认 GCS 帐户是使用环境变量 - GOOGLE_APPLICATION_CREDENTIALS 设置的。我们不想更改环境变量,因为它可能会影响当时运行的其他进程。我找不到以编程方式更改 Google Cloud Dataflow 服务帐户的方法。我们按照以下方式创建管道 p = beam.Pipeline(argv=self.conf)
是否有通过 argv 或选项的任何选项,我可以在其中提到 gcs 凭证文件的位置?搜索了文档,但没有找到太多信息。
python google-cloud-platform google-cloud-dataflow airflow apache-beam
可以通过哪些选项将主题中的 Kafka 数据流式传输、使用并提取到 BigQuery/云存储中。
根据, 是否可以将 Kafka 与 Google 云数据流一起使用
GCP 附带了构建在 Apache Beam 编程模型之上的 Dataflow。KafkaIO 与 Beam Pipeline 结合使用是对传入数据执行实时转换的推荐方法吗?
https://beam.apache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/kafka/KafkaIO.html
Kafka 数据可以推送到云发布-订阅,然后推送到 BigQuery 表上。也可以使用 GCP 之外的 Kafka 流/Spark 作业。
鉴于数据完全托管在 Google Cloud Platform (GCP) 上,在设计决策期间需要考虑哪些因素?
当向 GCP 提交 Dataflow 作业时,我收到此错误:
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 766, in run
self._load_main_session(self.local_staging_directory)
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 482, in _load_main_session
pickler.load_session(session_file)
File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 266, in load_session
return dill.load_session(file_path)
File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 402, in load_session
module = unpickler.load()
File "/usr/lib/python2.7/pickle.py", line 864, in load
dispatch[key](self)
File "/usr/lib/python2.7/pickle.py", line 1139, in load_reduce
value = func(*args)
File "/usr/local/lib/python2.7/dist-packages/dill/_dill.py", line 818, in _import_module
return __import__(import_name)
ImportError: No module named tensorflow_transform
Run Code Online (Sandbox Code Playgroud)
我的假设是,tensorflow-transform 和 apache-beam 等要求是预先安装的,并且它在几个月前就可以工作。
google-cloud-platform google-cloud-dataflow tensorflow apache-beam
我在运行数据流作业时发现“PBegin”对象没有属性“windowing”。我在 pardo 函数中调用 connectclass 类。
我正在尝试从 Beam python SDK 连接 NOSQL 数据库并运行 sql 以从表中提取数据。然后使用另一个 pardo 将输出写入单独的文件。
class Connector(beam.DoFn):
def __init__(self,username,seeds,keyspace,password,datacenter=None):
self.username = username
self.password = password
self.seeds = seeds
self.keyspace = keyspace
self.datacenter = datacenter
super(self.__class__, self).__init__()
def process(self, element):
if datacenter:
load_balancing_policy = DCAwareRoundRobinPolicy(local_dc=self.datacenter)
auth_provider = PlainTextAuthProvider(username=self.username, password=self.password)
cluster = Cluster(contact_points=self.seeds,
load_balancing_policy=load_balancing_policy,
auth_provider=auth_provider)
session=cluster.connect(self.seeds,self.keyspace,self.username, self.password, self.datacenter)
rows = session.execute(SQL Query)
yield rows
Run Code Online (Sandbox Code Playgroud) 当我想使用 PyPI 中的特定库时,我在数据流管道中尝试了一个奇怪的错误。
我需要jsonschemaParDo,因此,在我的requirements.txt文件中,我添加了jsonschema==3.2.0. 我使用下面的命令行启动管道:
python -m gcs_to_all \
--runner DataflowRunner \
--project <my-project-id> \
--region europe-west1 \
--temp_location gs://<my-bucket-name>/temp/ \
--input_topic "projects/<my-project-id>/topics/<my-topic>" \
--network=<my-network> \
--subnetwork=<my-subnet> \
--requirements_file=requirements.txt \
--experiments=allow_non_updatable_job \
--streaming
Run Code Online (Sandbox Code Playgroud)
在终端中,一切似乎都很好:
INFO:root:2020-01-03T09:18:35.569Z: JOB_MESSAGE_BASIC: Worker configuration: n1-standard-4 in europe-west1-b.
INFO:root:2020-01-03T09:18:35.806Z: JOB_MESSAGE_WARNING: The network default doesn't have rules that open TCP ports 12345-12346 for internal connection with other VMs. Only rules with a target tag 'dataflow' or empty target tags set apply. If …Run Code Online (Sandbox Code Playgroud) 我想使用自定义 Docker 映像运行 Python Google Cloud Dataflow 作业。
根据文档,这应该是可能的:https://beam.apache.org/documentation/runtime/environments/#testing-customized-images
为了尝试此功能,我使用此公共存储库中的文档中的命令行选项设置了基本字数示例管道https://github.com/swarchris8/beam_wordcount_with_docker
我可以使用 PortableRunner 在本地使用apachebeam/python3.6_sdk图像运行字数统计作业,但使用 Dataflow 我无法执行此操作。
我正在尽可能密切地关注 PortableRunner 的文档,我的参数是:
python -m wordcount --input wordcount.py \
--output counts \
--runner=PortableRunner \
--job_endpoint=embed \
--environment_config=apachebeam/python3.6_sdk
Run Code Online (Sandbox Code Playgroud)
对于数据流:
python -m wordcount --input wordcount.py \
--output gs://healx-pubmed-ingestion-tmp/test/wordcount/count/count \\
--runner=DataflowRunner \
--project=healx-pubmed-ingestion \
--job_name=dataflow-wordcount-docker \
--temp_location=gs://healx-pubmed-ingestion-tmp/test/wordcount/tmp \
--experiment=beam_fn_api \
--sdk_location=/Users/chris/beam/sdks/python/container/py36/build/target/apache-beam.tar.gz \
--worker_harness_container_image=apachebeam/python3.6_sdk \
--region europe-west1 \
--zone europe-west1-c
Run Code Online (Sandbox Code Playgroud)
有关完整详细信息,请参阅链接的存储库。
我在这里做错了什么,或者 Dataflow 中的 Python 作业不支持此功能?
我正在运行一个简单的数据流作业来从表中读取数据并将数据写回到另一个表中。作业失败并出现以下错误:
工作流程失败。原因:S01:ReadFromBQ+WriteToBigQuery/WriteToBigQuery/NativeWrite 失败。、BigQuery 在项目“[我的项目]”中创建数据集“_dataflow_temp_dataset_18172136482196219053”失败。、BigQuery 执行失败。、错误:消息:访问被拒绝:项目 [我的项目]:用户在项目 [我的项目] 中没有 bigquery.datasets.create 权限。
不过,我并没有尝试创建任何数据集,它基本上是尝试创建 temp_dataset,因为作业失败了。但我没有得到任何关于幕后真正错误的信息。阅读不是问题,真正失败的是写作步骤。我不认为这与权限有关,但我的问题更多的是如何获得真正的错误,而不是这个错误。知道如何解决这个问题吗?
这是代码:
import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions, GoogleCloudOptions, StandardOptions, WorkerOptions
from sys import argv
options = PipelineOptions(flags=argv)
google_cloud_options = options.view_as(GoogleCloudOptions)
google_cloud_options.project = "prj"
google_cloud_options.job_name = 'test'
google_cloud_options.service_account_email = "mysa"
google_cloud_options.staging_location = 'gs://'
google_cloud_options.temp_location = 'gs://'
options.view_as(StandardOptions).runner = 'DataflowRunner'
worker_options = options.view_as(WorkerOptions)
worker_options.subnetwork = 'subnet'
with beam.Pipeline(options=options) as p:
query = "SELECT ..."
bq_source = beam.io.BigQuerySource(query=query, use_standard_sql=True)
bq_data = p | "ReadFromBQ" >> beam.io.Read(bq_source)
table_schema = ... …Run Code Online (Sandbox Code Playgroud) 我们正在尝试使用 Apache Beam(使用 Go SDK)和 Dataflow 来并行化一项耗时的任务。对于更多上下文,我们有缓存作业,它接受一些查询,跨数据库运行它并缓存它们。每个数据库查询可能需要几秒钟到几分钟的时间,我们希望并行运行这些查询以更快地完成任务。
创建了一个简单的管道,如下所示:
// Create initial PCollection.
startLoad := beam.Create(s, "InitialLoadToStartPipeline")
// Emits a unit of work along with query and date range.
cachePayloads := beam.ParDo(s, &getCachePayloadsFn{Config: config}, startLoad)
// Emits a cache response which includes errCode, errMsg, time etc.
cacheResponses := beam.ParDo(s, &cacheQueryDoFn{Config: config}, cachePayloads)
...
Run Code Online (Sandbox Code Playgroud)
排放的数量getCachePayloadsFn并不多,生产时大多为数百,最多可达数千。
现在的问题是cacheQueryDoFn不是并行执行,查询是逐个顺序执行的。我们通过在缓存函数中放入日志StartBundle并ProcessElement记录 goroutine id、进程 id、开始和结束时间等来确认这一点,以确认执行中没有重叠。
即使只有 10 个查询,我们也希望始终并行运行查询。根据我们的理解和文档,它根据整体输入创建捆绑包,这些捆绑包并行运行,并且在捆绑包内按顺序运行。有没有办法控制负载中的包数量或增加并行性?
我们尝试过的事情:
num_workers=2和autoscaling_algorithm=None. 它启动两个虚拟机,但Setup仅在一个虚拟机上运行初始化 DoFn 的方法,并将其用于整个负载。apache-beam ×8
python ×4
airflow ×1
apache-kafka ×1
docker ×1
go ×1
kubernetes ×1
python-2.7 ×1
python-3.6 ×1
python-3.x ×1
tensorflow ×1