小编soa*_*soa的帖子

Kafka Consumer 使用 python 轮询消息

我在消费者组中轮询来自 Kafka 的消息时遇到问题。\n我的消费者对象分配给给定的分区

\n\n
self.ps = TopicPartition(topic, partition )\n
Run Code Online (Sandbox Code Playgroud)\n\n

之后消费者分配给该分区:

\n\n
self.consumer.assign([self.ps])\n
Run Code Online (Sandbox Code Playgroud)\n\n

之后我就可以计算分区内的消息了

\n\n
self.consumer.seek_to_beginning(self.ps)\npos = self.consumer.position(self.ps)\n
Run Code Online (Sandbox Code Playgroud)\n\n

self.consumer.seek_to_end(self.ps)\n......

\n\n

我的主题中有超过 30000 条消息。\n问题是我只收到一条消息。

\n\n

消费者配置为:\n max_poll_records= 200\nAUTO_OFFSET_RESET是最早的

\n\n

这是我的功能,我试图获取消息:

\n\n
 def poll_messages(self):\n\n\n    data = []\n\n    messages = self.consumer.poll(timeout_ms=6000)\n\n\n    for partition, msgs in six.iteritems(messages):\n\n        for msg in msgs:\n\n            data.append(msg)\n\n    return data\n
Run Code Online (Sandbox Code Playgroud)\n\n

即使我在开始轮询消息之前转到第一个可用偏移量\n我也只收到一条消息。

\n\n
self.consumer.seek(self.ps, self.get_first_offset())\n
Run Code Online (Sandbox Code Playgroud)\n\n

我希望有人能解释我做错了什么。\n提前致谢。

\n\n

最美好的祝愿\nJ\xc3\xb6rn

\n

python consumer apache-kafka kafka-python

5
推荐指数
1
解决办法
2万
查看次数

PL/SQL - ORACLE:ORA-01843:不是有效月份

我想在oracle数据库版本11.2.0.4上的PL/SQL ETL进程内的时间戳列表中插入数据

如果我在Toad中运行"从seletcted行创建INSERT",我将获得以下SQL命令:

 Insert into xxxx$1
   (ID, ITEM, ITEMSIZE, QUALITY, MATERIAL, 
    COLOUR, IMAGEURL, CREATIONDATE, SAMPLEITEMNUMBER, ITEMNUMBER)
 Values
   (111, 339079775, '1', 'Microfaser PRIMABELLE®', 'TEXTILE', 
    '1 (=creme)', 'url', TO_TIMESTAMP('27.06.2016 15:49:35.000000','DD.MM.YYYY HH24:MI:SS.FF'), 'xxx', 'xxxx');
COMMIT;
Run Code Online (Sandbox Code Playgroud)

在PL/SQL中,我生成一个VARCHAR2/String,它看起来像是一样的:

v_sql :=
                                'INSERT INTO xxxx'
                             || p_importpostfix
                             || '  VALUES ('
                             || seq_xxxx.NEXTVAL
                             || ','
                             || v_rec.item_id
                             || ', '''
                             || v_size
                             || ''','''
                             || v_quality
                             || ''','''
                             || v_material
                             || ''','''
                             || v_colour
                             || ''','''
                             || NULL
                             || ''',to_timestamp('''|| to_char( sysdate, 'DD.MM.YYYY HH24:MI:SS')||''',''DD.MM.YYYY HH24:MI:SS.FF''),'''
                             || v_rec.vid …
Run Code Online (Sandbox Code Playgroud)

database oracle toad plsql oracle11g

1
推荐指数
1
解决办法
1067
查看次数