如何从linux中的GUI应用程序中提取文本内容？

Question

我想从GUI应用程序中提取文本内容,这里有两个例子::

例1:

假设我打开了firefox,输入了url:www.google.com

如何使用自己的应用程序从firefox中提取字符串"www.google.com"？

例2:

打开计算器(使用gcalctool),然后输入1 + 1

如何从我自己的程序中提取计算器的字符串"1 + 1"？

简而言之,我想要的是找出是否有办法从GUI应用程序的任何小部件中提取文本内容

谢谢

Answer 1

我认为没有一种通用的方法可以做到这一点，至少不是一种非常优雅的方法。

一些不雅的想法：

您也许能够修改 X 窗口系统甚至某些工具包框架，以将特定窗口元素中显示的内容提取为文本。

您可以截取屏幕截图并使用 OCR 库将像素转换回有趣区域的文本。

您可以重新编译感兴趣的应用程序以添加某种向它们提问的机制。

您可以使用 xtest 之类的工具来注入突出显示感兴趣区域的事件并将其复制到剪贴板。