标签: analyzer

如何在lucene查询中正确转义OR和AND?

当我传入一个查询"state:OR"时,lucene给出了一个错误,因为它将"OR"视为boolean子句的关键字,但在这里我实际上是俄勒冈州的缩写,即州.

我已经看到引用OR,所以查询变为'state:'或""使它工作.

但这听起来不是一个非常好的方法,因为我将不得不为lucene使用的每个关键字做一个字符串替换:AND OR NOT和其他?我没有多少

我尝试直接构造查询而不是执行queryParser.parse(),但似乎这不会通过分析器,这是一个大问题.

lucene analyzer

7
推荐指数
2
解决办法
2341
查看次数

如何使用sklearn CountVectorizer同时使用'word'和'char'分析器? - 蟒蛇

如何使用sklearn CountVectorizer同时使用'word'和'char'分析器? http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html

我可以通过单词或字符分别提取文本功能,但我如何创建charword_vectorizer?有没有办法结合矢量化器?或使用多个分析仪?

>>> from sklearn.feature_extraction.text import CountVectorizer
>>> word_vectorizer = CountVectorizer(analyzer='word', ngram_range=(1, 2), min_df=1)
>>> char_vectorizer = CountVectorizer(analyzer='char', ngram_range=(1, 2), min_df=1)
>>> x = ['this is a foo bar', 'you are a foo bar black sheep']
>>> word_vectorizer.fit_transform(x)
<2x15 sparse matrix of type '<type 'numpy.int64'>'
    with 18 stored elements in Compressed Sparse Column format>
>>> char_vectorizer.fit_transform(x)
<2x47 sparse matrix of type '<type 'numpy.int64'>'
    with 64 stored elements in Compressed Sparse Column format>
>>> char_vectorizer.get_feature_names()
[u' ', …
Run Code Online (Sandbox Code Playgroud)

python machine-learning text-analysis analyzer scikit-learn

7
推荐指数
1
解决办法
9137
查看次数

Dart 分析服务器已终止

我在 Flutter 中开发了 1 年,在启动 IntelliJ IDEA 后突然遇到这个错误。Dart 分析已停止工作。分析代码的唯一方法是通过,dart analyze lib/这是非常不方便的。

有谁知道这是什么原因造成的吗?

Dart分析问题

堆栈溢出

版本信息

  • 飞镖 SDK 2.10.2
  • 达特 IntelliJ 202.7319.5
  • IntelliJ IDEA 2020.2.3
  • Mac OS X 10.15.7

细节

堆栈溢出

#0      Driver._captureExceptions.errorFunction (package:analysis_server/src/server/driver.dart:732:7)
#1      _CustomZone.handleUncaughtError (dart:async/zone.dart:1076:19)
#2      _CustomZone.runGuarded (dart:async/zone.dart:999:7)
#3      _CustomZone.bindCallbackGuarded.<anonymous closure> (dart:async/zone.dart:1037:23)
#4      _microtaskLoop (dart:async/schedule_microtask.dart:41:21)
#5      _startMicrotaskLoop (dart:async/schedule_microtask.dart:50:5)
#6      _Timer._runTimers (dart:isolate-patch/timer_impl.dart:125:20)
#7      _RawReceivePortImpl._handleMessage (dart:isolate-patch/isolate_patch.dart:168:12)
#8      _Timer._runTimers (dart:isolate-patch/timer_impl.dart:125:20)
#9      _RawReceivePortImpl._handleMessage (dart:isolate-patch/isolate_patch.dart:168:12)
#10     _CustomZone.runGuarded (dart:async/zone.dart:1093:19)
#11     _CustomZone.bindCallbackGuarded.<anonymous closure> (dart:async/zone.dart:1037:23)
#12     _microtaskLoop (dart:async/schedule_microtask.dart:41:21)
#13     _startMicrotaskLoop (dart:async/schedule_microtask.dart:50:5)
#14     _Timer._runTimers (dart:isolate-patch/timer_impl.dart:125:20)
#15 …
Run Code Online (Sandbox Code Playgroud)

intellij-idea analyzer dart flutter

7
推荐指数
1
解决办法
7127
查看次数

XCode:如果C/C++ - 项目中使用的代码,静态分析器不起作用

使用XCode 3.2.1 Apple提供了内置的Clang静态分析仪.我正在开发一个使用一些C代码(一个.h.c文件)的iPhone项目.在运行Build and Analyze时,Clang拒绝工作.构建结果窗口只显示Build Succeeded.

任何想法如何让它与C/C++一起运行 - 代码?

此致,诺伯特

iphone xcode clang analyzer

6
推荐指数
1
解决办法
912
查看次数

java lucene自定义分析器和tokenizer在termvector偏移中创建问题?

我遇到了关于lucene termvector偏移的问题,当我使用我的自定义分析器分析一个字段时,它将给出termvector的无效偏移但是标准分析器没问题,这是我的分析器代码

public class AttachmentNameAnalyzer extends Analyzer {
    private boolean stemmTokens;
    private String name;

    public AttachmentNameAnalyzer(boolean stemmTokens, String name) {
        super();
        this.stemmTokens    = stemmTokens;
        this.name           = name;
    }

    @Override
    public TokenStream tokenStream(String fieldName, Reader reader) {
        TokenStream stream = new AttachmentNameTokenizer(reader);
        if (stemmTokens)
            stream = new SnowballFilter(stream, name);
        return stream;
    }

    @Override
    public TokenStream reusableTokenStream(String fieldName, Reader reader) throws IOException {
        TokenStream stream = (TokenStream) getPreviousTokenStream();

        if (stream == null) {
            stream = new AttachmentNameTokenizer(reader);
            if (stemmTokens)
                stream = new …
Run Code Online (Sandbox Code Playgroud)

java lucene analyzer

6
推荐指数
1
解决办法
3195
查看次数

如何分析Websphere核心*.dmp文件和Snap*.trc文件?

全部,我的应用程序在websphere app server 7.0上运行.我得到了一些核心转储和跟踪文件,如

core.20110909.164930.3828.0001.dmp

Snap.20110909.164930.3828.0003.trc.

我的问题是,就像WAS生成的线程转储可以由IBM-Thread Dump Analyzer工具打开和分析一样

是否有工具可以由IBM或任何其他人打开上述文件?

谢谢,阿尤斯曼

java coredump analyzer heap-dump websphere-7

6
推荐指数
2
解决办法
3万
查看次数

创建索引后创建自定义分析器

我正在尝试添加自定义分析器。

curl -XPUT 'http://localhost:9200/my_index' -d '{
    "settings" : {
        "analysis" : {
            "filter" : {
                "my_filter" : {
                    "type" : "word_delimiter",
                    "type_table": [": => ALPHA", "/ => ALPHA"]
                }
            },
            "analyzer" : {
                "my_analyzer" : {
                    "type" : "custom",
                    "tokenizer" : "whitespace",
                    "filter" : ["lowercase", "my_filter"]
                }
            }
        }
    }
}'
Run Code Online (Sandbox Code Playgroud)

当我可以在每次需要时重新创建索引时,它在我的本地环境中工作,当我尝试在其他环境(如 qa 或 prod 已创建索引)上执行相同操作时,问题就出现了。

{
    "error": "IndexAlreadyExistsException[[my_index] already exists]",
    "status": 400
}
Run Code Online (Sandbox Code Playgroud)

如何通过 HTTP API 添加我的自定义分析器?

analyzer elasticsearch

6
推荐指数
1
解决办法
2027
查看次数

需要构建针对.NET Standard\Core而不是.NET Portable的Roslyn Analyzer

我正在使用Visual Studio 2017附带的默认Roslyn SDK模板.他们创建的项目以.NET Framework Portable为目标.我假设Roslyn可扩展性项目可以针对.NET Standard\Core而不是Portable,我正在寻找模板或我可以研究的Roslyn Analyzer\Refactoring项目示例.

analyzer roslyn .net-core .net-standard

6
推荐指数
2
解决办法
821
查看次数

创建 Lucene.net 自定义分析器

我正在尝试在 Lucene.net 4.8 中创建一个自定义分析器 - 但是我遇到了一个我无法理解的错误。

我的分析器代码:

public class SynonymAnalyzer : Analyzer  
{

protected override TokenStreamComponents CreateComponents(string fieldName, TextReader reader)
{
    String base1 = "lawnmower";
    String syn1 = "lawn mower";
    String base2 = "spanner";
    String syn2 = "wrench";

    SynonymMap.Builder sb = new SynonymMap.Builder(true);
    sb.Add(new CharsRef(base1), new CharsRef(syn1), true);
    sb.Add(new CharsRef(base2), new CharsRef(syn2), true);
    SynonymMap smap = sb.Build();

    Tokenizer tokenizer = new StandardTokenizer(Version.LUCENE_48, reader);

    TokenStream result = new StandardTokenizer(Version.LUCENE_48, reader);
    result = new SynonymFilter(result, smap, true);
    return new TokenStreamComponents(tokenizer, result);
} …
Run Code Online (Sandbox Code Playgroud)

c# lucene lucene.net analyzer

6
推荐指数
1
解决办法
2467
查看次数

将参考程序集添加到 Roslyn 分析器代码修复单元测试

我正在尝试编写一个单元测试来测试 Roslyn 分析器代码修复。自从引入分析器和编辑 DiagnosticVerifier.Helper.cs 以来,事情已经发生了变化(https://www.productiverage.com/creating-ac-sharp-roslyn-analysisr-for-beginners-by-a-初学者

我的分析器适用于 mvc ControllerBase 派生类型,但将 AspNetCore 程序集的名称添加到引用程序集并不能解决我的测试无法解析测试源代码中包含的 AspNetCore 命名空间的问题

var test = new VerifyCS.Test();
mytest.ReferenceAssemblies = test.ReferenceAssemblies.AddAssemblies( ImmutableArray.Create(new string[] { "Microsoft.AspNetCore.Mvc"}));
Run Code Online (Sandbox Code Playgroud)

错误 CS0234:命名空间“Microsoft”中不存在类型或命名空间名称“AspNetCore”(您是否缺少程序集引用?)

编辑:固定,使用:

mytest.ReferenceAssemblies = mytest.ReferenceAssemblies.WithPackages(ImmutableArray.Create(new PackageIdentity[] { new PackageIdentity("Microsoft.AspNetCore.Mvc.Core", "2.2.5") }));
Run Code Online (Sandbox Code Playgroud)

analyzer roslyn

6
推荐指数
1
解决办法
1697
查看次数