问题列表 - 第50012页

多语言数据的特征选择和无监督学习+机器学习算法选择

问题

我想将一组数千个网站分类/分类/集群/组合在一起.有我们可以训练的数据,所以我们可以进行有监督的学习,但这不是我们收集的数据,我们也不会坚持使用它 - 所以我们也在考虑无监督学习.

  • 我可以在机器学习算法中使用哪些功能来处理多语言数据?请注意,其中一些语言可能尚未在自然语言处理字段中处理.

  • 如果我使用无监督学习算法,我应该只按语言划分数据并以不同方式处理每种语言吗?不同的语言可能有不同的相关类别(或不,取决于您的心理语言学理论倾向),这可能会影响分区决策.

  • 我正在考虑使用决策树,或者支持向量机(SVM)来允许更多功能(根据我对它们的理解).这篇文章建议随机森林而不是SVM.有什么想法吗?

欢迎实用的方法!(理论上也是如此,但这些可能会被保存起来以供以后使用.)

一些背景

我们正试图用3到5种语言对数千个网站的语料库进行分类(可能高达10种,但我们不确定).

我们以数百个已经分类的网站的形式提供培训数据.但是,我们可以选择是否使用该数据集 - 如果其他类别更有意义,我们愿意不使用我们拥有的培训数据,因为它不是我们首先收集的内容.我们正处于从网站上抓取数据/文本的最后阶段.

现在我们必须决定上述问题.我已经与Brown Corpus和Brill tagger做了一些工作,但由于多语言问题,这不起作用.

我们打算使用Orange机器学习包.

nlp artificial-intelligence classification machine-learning data-mining

5
推荐指数
1
解决办法
1060
查看次数

水果忍者剑刃效果

我想制作水果忍者刀片.我正在使用cocos2d,而MotionStreak对此非常难看.MotionStreak的任何其他方法或更好的设置?可能是粒子系统?任何类似于ParticleDesigner的免费伟大工具?

iphone objective-c particles cocos2d-iphone

1
推荐指数
1
解决办法
4697
查看次数

PHP DateDiff问题

使用下面的PHP代码,我希望得到'2'作为我的输出.但我得到'1'.

有人知道为什么吗?

$returndate = preg_replace('#(\d+)/(\d+)/(\d+)#', '$3-$2-$1', '2011-03-28');
$departdate = preg_replace('#(\d+)/(\d+)/(\d+)#', '$3-$2-$1', '2011-03-26'); 

$diff = abs(strtotime($returndate) - strtotime($departdate));

$years = floor($diff / (365*60*60*24));
$months = floor(($diff - $years * 365*60*60*24) / (30*60*60*24));
$days = floor(($diff - $years * 365*60*60*24 - $months*30*60*60*24)/ (60*60*24));

echo $days; // expecting 2, but get 1
Run Code Online (Sandbox Code Playgroud)

非常感谢任何帮助.

php datediff

0
推荐指数
1
解决办法
4692
查看次数

实体框架4存储库?

我正在学习实体框架4,我想使用Repository模式来组织和隔离我的持久性对象.我已经在这里和网上的其他地方做了一些研究,我很难找到关于这个主题的任何有用的东西.大多数博客看起来像其他ORM系统的简单存储库端口,有很多相互矛盾的建议.大多数似乎都将对象上下文传递给业务层,这似乎违背了存储库方法的目的.

任何人都可以建议一篇好的文章,书籍或博客,解释如何使用Entity Framework 4实现Repository模式,而不会使用持久性对象污染业务层?谢谢你的帮助.

entity-framework repository-pattern entity-framework-4

9
推荐指数
1
解决办法
1853
查看次数

Django模板错误 - 'trans'的唯一选项是'noop'

这是关于Django教程 - 第2部分 http://docs.djangoproject.com/en/dev/intro/tutorial02/

在更改管理页面模板的部分中,我尝试在base_site.html页面中更改此部分.

{%trans'Django的管理'%}

当我添加撇号和s时,我发现错误 - 在'trans'的/ admin/only选项的TemplateSyntaxError是'noop'

为什么会这样?我以为我应该可以更改网站的名称.我也试过使用双引号和转义序列,但它没有用.

django

4
推荐指数
1
解决办法
2134
查看次数

C#标识符中的非ASCII字符由NHibernate引用

我试图在C#标识符中输入非ASCII字符,程序编译并运行得很好(至少乍一看).更确切地说,我在枚举中使用克罗地亚变音字符(čćđšž).我真的需要使用这些特殊字符,因为我将字符串枚举映射为NHibernate中的值对象.在将它们显示为对用户的查找时,必须避免使用这些标准字符真的很难看.在我以这种方式大规模开始使用枚举之前,我真的需要知道这种编程技术是否存在任何影响(隐藏的陷阱)(特别是关于NHibernate)?或者,如果您有更好的处理方法,请告诉我.

还有,用于重构的工具,SVN等有什么问题吗?

c# nhibernate enums

5
推荐指数
1
解决办法
1047
查看次数

正则表达式:删除方括号的内容

是否有正则表达式可用于搜索/替换以删除方括号(和括号)中发生的所有内容?

我试过\[.*\]扼杀额外的东西(例如"[chomps] extra [stuff]")

此外,\[.*?\]当存在嵌套括号时,与惰性匹配相同的操作也不起作用(例如"stops [chomping [too] early]!")

regex perl

2
推荐指数
2
解决办法
6798
查看次数

如何区分用户控件在窗体上加载和运行时加载

我使用Windows窗体应用程序的C#创建了一个用户控件。此用户控件具有一些属性。在运行时,如果用户未输入此属性的值,我想显示一个消息框并退出应用程序。

问题是当我在用户控件的Load事件中编写检查代码时。当我将其拖放到窗体上时,将出现消息框。

private void UserControl1_Load(Object sender, EventArgs e) 
{
    if (_getFirstPageArgument==null || _getFirstPageArgument.Length==0) 
    { 
        throw new Exception("Some Message"); 
    }
}
Run Code Online (Sandbox Code Playgroud)

如何区分表单上的负载和运行时上的负载?

c# user-controls winforms c#-4.0

2
推荐指数
1
解决办法
1935
查看次数

快速随机访问二进制文件,但也可以在需要时顺序访问.怎么布局?

我有大约10亿个数据集,它们有一个DatasetKey,每个数据集有1到5 000 000个子条目(一些对象),平均值大约是100,但有很多胖尾巴.

写入数据后,数据不会更新,只会读取数据.

我需要通过DatasetKey读取数据并执行以下操作之一:
获取子条目数
获取前1000个子条目(最大值小于1000)
获取前5000个子条目(最大值小于5000)
获取前100000个子条目(最大值如果小于100000)
获取所有子条目

每个子条目的大小约为20字节到2KB(平均450字节).

我想要使​​用的布局如下:

我创建了一个大小至少为5MB的文件.
每个文件至少包含一个DatasetKey,但如果文件仍然小于5MB,我添加新的DatasetKeys(带子条目),直到我超过5 MB.
首先,我存储一个标题,说明哪些文件偏移我会找到什么样的数据.
此外,我计划使用协议缓冲区存储序列化包.
前1000个条目的一个包,
一个用于接下来的4000个条目,
一个用于接下来的95000个条目,
一个用于下一个剩余的条目.

我将文件大小存储在RAM中(将所有标题存储在我使用的机器上所需的大量RAM中).当我需要访问特定的DatasetKey时,我在RAM中查找我需要的文件.然后我从RAM中获取文件大小.当文件大小约为5MB或更小时,我会将整个文件读入内存并进行处理.如果它超过5MB,我将只读取第一个xKB来获取标题.然后我从磁盘加载我需要的位置.

这听起来怎么样?这完全是胡说八道吗?还是一个好方法?

使用这个设计我有以下几点:

我想将我的数据存储在一个自己的二进制文件而不是数据库中,以便将来更容易备份和处理文件.
我会使用postgresql,但我想出存储二进制数据会使postgresqls-toast不止一次寻求访问数据.
为每个DatasetKey存储一个文件需要太多时间将所有值写入磁盘.
数据在RAM中计算(因为并非整个数据在RAM中同时拟合,它是以块为单位计算的).
5MB的文件大小只是一个粗略的估计.

你说什么?提前谢谢你的帮助!

编辑

更多背景资料:

DatasetKey的类型为ulong.

子条目(有不同的类型)大部分时间如下:

public struct ChildDataSet
{
    public string Val1;
    public string Val2;
    public byte Val3;
    public long Val4;
}
Run Code Online (Sandbox Code Playgroud)

我无法确切地知道访问了哪些数据.计划是用户可以访问特定DatasetKeys的前1000,5000,100000或所有数据.根据他们的设置.

我希望尽可能降低响应时间并尽可能少地使用磁盘空间.

@Regarding随机访问(Marc Gravells问题):

我不需要访问元素号.123456用于特定的DatasetKey.

当在一个文件中存储多个DatasetKey(带有子条目)时(我将其设计为不创建大量文件的方式),我需要随机访问该文件中特定DatasetKey的前1000个条目,或者第一个5000(所以我会阅读1000和4000包).

我只需要访问以下有关一个特定DatasetKey(uint)的内容:
1000个子条目(或所有子条目,如果小于1000)
5000个子条目(或所有子条目,如果小于5000)
100000个子条目(或所有子条目,如果小于100000)
所有子条目

我提到的所有其他事情只是一个设计尝试从我:-)

编辑,在一个类中流式传输一个列表?

public class ChildDataSet
{
    [ProtoMember(1)]
    public List<Class1> Val1;
    [ProtoMember(2)]
    public List<Class2> Val2;
    [ProtoMember(3)]
    public List<Class3> Val3; …
Run Code Online (Sandbox Code Playgroud)

c# binaryfiles protocol-buffers protobuf-net

5
推荐指数
1
解决办法
3041
查看次数

C sharp系统IO保存文本文件问题

好吧,我制作了一个应该有效的程序,但遗憾的是没有.它加载一个文件保存字符串并修改它以显示普通的ASCII字符.该程序没有错误,但文件不会更改.这是代码的一部分:

string filePath = textBox1.Text;

if (File.Exists(filePath))
{
    var text = File.ReadAllText(filePath,Encoding.Unicode);
    StringBuilder sb = new StringBuilder(text);
    sb.Replace('?', 'a');
    ...
    File.WriteAllText(filePath, text , Encoding.Unicode);
}
Run Code Online (Sandbox Code Playgroud)

不幸的是,即使我将文件保存为Unicode文件,它仍然不会更改文件文本.我的问题在哪里?谢谢你的帮助.

.net c# file-io

1
推荐指数
1
解决办法
428
查看次数