我知道大多数正则表达式引擎,包括JavaScript中的一个必须\b匹配单词边界,无论是在单词的开头还是结尾.
但是Vim还有两个更具体的正则表达式原子:
JavaScript是否具有与这些原子等价的东西,如果没有,是否有办法以其他方式表达更精确的语义?
我错过了什么或者node.js的标准文件I/O模块缺少通常的文件随机访问方法的类似物吗?
seek()/fseek()tell()/ftell()如何从没有这些的节点中的大文件中读取随机固定大小的记录?
我正在尝试计算大小为1.2 GB的文本文件的字频率,大约为2.03亿字.我使用以下Python代码.但它给了我一个内存错误.这有什么解决方案吗?
这是我的代码:
import re
# this one in honor of 4th July, or pick text file you have!!!!!!!
filename = 'inputfile.txt'
# create list of lower case words, \s+ --> match any whitespace(s)
# you can replace file(filename).read() with given string
word_list = re.split('\s+', file(filename).read().lower())
print 'Words in text:', len(word_list)
# create dictionary of word:frequency pairs
freq_dic = {}
# punctuation marks to be removed
punctuation = re.compile(r'[.?!,":;]')
for word in word_list:
# remove punctuation marks
word = punctuation.sub("", …Run Code Online (Sandbox Code Playgroud) 我知道你不能在Rebol 2中使用大于^(FF)的代码点在字符串中使用插入符号样式,因为它对Unicode没有任何了解.所以这不会产生任何好处,它看起来搞砸了:
print {Q: What does a Zen master's {Cow} Say? A: "^(03BC)"!}
Run Code Online (Sandbox Code Playgroud)
然而代码在Rebol 3中工作并打印出来:
Q: What does a Zen master's {Cow} Say? A: "?"!
Run Code Online (Sandbox Code Playgroud)
这很好,但是R3最大限度地发挥了它在U + FFFF中保持字符串的能力显然:
>> type? "^(FFFF)"
== string!
>> type? "^(010000)"
** Syntax error: invalid "string" -- {"^^(010000)"}
** Near: (line 1) type? "^(010000)"
Run Code Online (Sandbox Code Playgroud)
当Rebol 2遇到它不知道的代码点时,情况要好于Rebol 2的随机行为.但是,如果您知道如何进行自己的UTF-8编码(或通过从磁盘加载源代码获取字符串),Rebol中常常会有一种解决方法来存储字符串.你可以从个别角色组装它们.
所以U + 010000的UTF-8编码是#F0908080,你可以说:
workaround: rejoin [#"^(F0)" #"^(90)" #"^(80)" #"^(80)"]
Run Code Online (Sandbox Code Playgroud)
并且您将获得一个使用UTF-8编码的单个代码点的字符串,您可以在代码块中保存到磁盘并再次读回.R3中有类似的技巧吗?
YARQ(另一个正则表达式问题).
我如何将以下内容拆分为两列,确保最后一列包含句子中的最后一个单词,第一列包含其他所有单词.
x <- c("This is a test",
"Testing 1,2,3 Hello",
"Foo Bar",
"Random 214274(%*(^(* Sample",
"Some Hyphenated-Thing"
)
Run Code Online (Sandbox Code Playgroud)
这样我最终得到:
col1 col2
this is a test
Testing 1,2,3 Hello
Foo Bar
Random 214274(%*(^(* Sample
Some Hyphenated-Thing
Run Code Online (Sandbox Code Playgroud) 我在互联网上找到以下代码来计算TFIDF:
https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py
Run Code Online (Sandbox Code Playgroud)
我在函数def idf(word,documentList)中添加了"1+",所以我不会被0除错:
return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList))))
Run Code Online (Sandbox Code Playgroud)
但我对两件事感到困惑:
码:
documentNumber = 0
for word in documentList[documentNumber].split(None):
words[word] = tfidf(word,documentList[documentNumber],documentList)
Run Code Online (Sandbox Code Playgroud)
是否应仅在第一份文件上计算TFIDF?
python text-processing information-retrieval data-mining tf-idf
我试图删除字符串中的每个Unicode字符,如果它落在下面的任何范围内.
\uD800-\uDFFF
\u1D800-\u1DFFF
\u2D800-\u2DFFF
\u3D800-\u3DFFF
\u4D800-\u4DFFF
\u5D800-\u5DFFF
\u6D800-\u6DFFF
\u7D800-\u7DFFF
\u8D800-\u8DFFF
\u9D800-\u9DFFF
\uAD800-\uADFFF
\uBD800-\uBDFFF
\uCD800-\uCDFFF
\uDD800-\uDDFFF
\uED800-\uEDFFF
\uFD800-\uFDFFF
\u10D800-\u10DFFF
Run Code Online (Sandbox Code Playgroud)
作为初始原型,我试图通过在replace函数中使用正则表达式来删除第一个范围内的字符.
var buffer = "he\udfffllo world";
var output = buffer.replace(/[\ud800-\udfff]/g, "");
d.innerText = buffer + " is replaced with " + output;
Run Code Online (Sandbox Code Playgroud)
在这种情况下,角色似乎已被替换为罚款.
但是,当我用它替换它
var buffer = "he\udfffllo worl\u1dfffd";
var output = buffer.replace(/[\ud800-\udfff\u1d800-\u1dfff]/g, "");
d.innerText = buffer + " is replaced with " + output;
Run Code Online (Sandbox Code Playgroud)
我看到一些意外的事情 我的输出显示为:
hellloworl᷿fd被替换为
这里有两点需要注意:
\u1dfff不显示为一个字符 - \u1dff转换为字符,f最后它被视为自己的字符关于如何实现这一目标的任何建议都将非常感激.
编辑
我的总体目标是过滤掉 …
我打算编写一个使用SQLite作为后端的iOS应用程序.我的数据库包含越南文本,例如"HảiSơn".用于Google搜索的用户想要输入搜索字词"hai son"以查找上面的文字.我尝试了以下查询:
SELECT * FROM towns WHERE title LIKE '%hai son%';
Run Code Online (Sandbox Code Playgroud)
我得到了0记录.我该如何使它工作?我知道谷歌和其他搜索引擎处理这种情况,所以它可以完成.我也不想让我的用户输入带有完全变音符号的越南语文本,因为并非所有用户都知道如何操作.
我查看了sqlite3文档,看起来只有三个有效的归类序列:BINARY,NOCASE和RTRIM.我错过了什么吗?
我的表创建时间:
CREATE TABLE towns ( sid INTEGER PRIMARY KEY NOT NULL, title TEXT )
Run Code Online (Sandbox Code Playgroud)
到目前为止,我只使用sqlite3命令行从CSV文件创建数据库,表和导入文本.
我的sqlite3版本是3.7.12
别名给了我一个想法:创建我自己的整理顺序.如果有效,我会发布一个跟进.
句子字符串应该是由空格分隔的一堆单词,例如"现在是时间".showWords工作是每行输出一个句子的单词.
这是我的作业,我正在尝试,正如您从下面的代码中看到的那样.我无法弄清楚如何以及使用哪个循环逐字输出...请帮忙.
import java.util.Scanner;
public class test {
public static void main(String[] args) {
Scanner in = new Scanner(System.in);
System.out.println("Enter the sentence");
String sentence = in.nextLine();
showWords(sentence);
}
public static void showWords(String sentence) {
int space = sentence.indexOf(" ");
sentence = sentence.substring(0,space) + "\n" + sentence.substring(space+1);
System.out.println(sentence);
}
}
Run Code Online (Sandbox Code Playgroud) 我想比较不同的机器学习算法.作为其中的一部分,我需要能够执行网格搜索以获得最佳超参数.但是,我并没有真正想到为每个固定算法和其超参数的固定子集编写单独的网格搜索实现.相反,我希望它看起来更像是在scikit-learn中,但可能没有那么多功能(例如我不需要多个网格)并且用MATLAB编写.
到目前为止,我试图理解尚未编写的逻辑 grid_search.m
function model = grid_search(algo, data, labels, varargin)
p = inputParser;
% here comes the list of all possible hyperparameters for all algorithms
% I will just leave three for brevity
addOptional(p, 'kernel_function', {'linear'});
addOptional(p, 'rbf_sigma', {1});
addOptional(p, 'C', {1});
parse(p, algo, data, labels, varargin{:});
names = fieldnames(p.Results);
values = struct2cell(p.Results); % a cell array of cell arrays
argsize = 2 * length(names);
args = cell(1, argsize);
args(1 : 2 : argsize) = names; …Run Code Online (Sandbox Code Playgroud)