A 中的 Gumbo HTML 文本

Dmi*_* K. 3 c++ qt gumbo

我使用的Gumbo解析在网页中CP1251。我已将文本转换为UTF-8并将其发送到秋葵汤解析器。我在获取A链接中的文本时遇到问题

node->v.text.text
Run Code Online (Sandbox Code Playgroud)

当源正确显示在控制台中时,我在输出中看到奇怪的符号。我正在使用Qt 5.2libiconv用于转换目的。

我需要将节点文本转换为本地代码页还是我做错了什么?

进入页面 CP1251

    QByteArray barrData = pf->getData();

    size_t dstlen = 1048576;
    char buf[dstlen];
    memset((char*)buf, 0, dstlen);

    char* pIn = barrData.data();
    char* pOut = (char*)buf;

    size_t srclen = barrData.size();


    iconv_t conv = iconv_open("UTF-8", "CP1251");
    iconv(conv, &pIn, &srclen, &pOut, &dstlen);
    iconv_close(conv);

    GumboOutput* output = gumbo_parse(buf);

    parsePage(output->root);
    gumbo_destroy_output(&kGumboDefaultOptions, output);
Run Code Online (Sandbox Code Playgroud)

解析

if (node->v.element.tag == GUMBO_TAG_DIV && (_class = gumbo_get_attribute(&node->v.element.attributes, "class")))
{
    if (QString(_class->value) == "catalog-item-title")
    {
        qDebug() << "parsePage: found product, parsing...";

        GumboVector* children = &node->v.element.children;
        for (int i = 0; i < children->length; ++i)
        {
            GumboNode* node = static_cast<GumboNode*>(children->data[i]);

            GumboAttribute* href;
            GumboAttribute* id;

            if (node->v.element.tag == GUMBO_TAG_A &&
                (href = gumbo_get_attribute(&node->v.element.attributes, "href"))
            )
            {
                char buf[1024];
                memset(buf, 0, 1024);
                int i = node->v.text.original_text.length;
                memcpy(buf, node->v.text.original_text.data, i);


                QString strTitle = buf;
                Q_ASSERT(node->v.text.original_text.length > 0);
                qDebug() << "parsePage: found product" << strTitle << href->value;

                break;
            }
        }
    }
}
Run Code Online (Sandbox Code Playgroud)

源页面文本:

<div class="catalog-item-title"><a href="/textile/postelnoe-bele/korolevskoe-iskushenie-perkal/izmir_2/">????? 2</a></div>
Run Code Online (Sandbox Code Playgroud)

Dmi*_* K. 5

我终于抽了一些例子。文本包含在子节点内。

            if (node->v.element.tag == GUMBO_TAG_A &&
                (href = gumbo_get_attribute(&node->v.element.attributes, "href"))
            )
            {
                QString strTitle;
                GumboNode* title_text = static_cast<GumboNode>*)(node->v.element.children.data[0]);
                if (title_text->type == GUMBO_NODE_TEXT)
                {
                    strTitle = title_text->v.text.text;
                }

                qDebug() << "parsePage: found product" << strTitle << href->value;

                break;
            }
Run Code Online (Sandbox Code Playgroud)

  • 出于好奇,您在哪里找到 Gumbo 的文档?GitHub 页面没有链接到它,我通过 Google 找到的这个链接 http://matze.github.io/clib-doc/gumbo-parser/index.html 也没有多大帮助:例如,什么是GumboOutput 结构看起来像什么以及如何使用它? (2认同)