小编bri*_*rns的帖子

TPL Dataflow块消耗所有可用内存

我有TransformManyBlock以下设计:

  • 输入:文件的路径
  • 输出:IEnumerable文件的内容,一次一行

我在一个巨大的文件(61GB)上运行这个块,这个文件太大而无法放入RAM中.为了避免无限制的内存增长,我BoundedCapacity为这个块和所有下游块设置了一个非常低的值(例如1).尽管如此,该块显然会贪婪地迭代IEnumerable,它消耗了计算机上的所有可用内存,使每个进程停止运行.在我杀死进程之前,块的OutputCount继续无限制地上升.

我该怎么做才能防止块IEnumerable以这种方式消耗?

编辑:这是一个示例程序,说明了问题:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading;
using System.Threading.Tasks;
using System.Threading.Tasks.Dataflow;

class Program
{
    static IEnumerable<string> GetSequence(char c)
    {
        for (var i = 0; i < 1024 * 1024; ++i)
            yield return new string(c, 1024 * 1024);
    }

    static void Main(string[] args)
    {
        var options = new ExecutionDataflowBlockOptions() { BoundedCapacity = 1 };
        var firstBlock = new TransformManyBlock<char, string>(c => GetSequence(c), options);
        var secondBlock = new ActionBlock<string>(str …
Run Code Online (Sandbox Code Playgroud)

.net c# dataflow task-parallel-library tpl-dataflow

6
推荐指数
1
解决办法
1951
查看次数

在Oracle和NHibernate中映射长文本字符串

将NHibernate 3.1与SQL Server和Oracle DB一起使用时,我们需要存储一个长度超过4000个字符的文本字符串.文本实际上是XML,但这并不重要 - 我们只想将其视为原始文本.使用SQL Server,这很容易.我们将该列声明为NVARCHAR(MAX)并将其映射到:

<property name="MyLongTextValue" length="100000"/>
Run Code Online (Sandbox Code Playgroud)

使用length属性告诉NHibernate期望一个字符串可能超过4000个字符.

对于我的生活,我无法弄清楚如何在Oracle 11g上完成这项工作.我已经尝试将该列声明为XMLTYPE和LONG,但没有成功.在第一种情况下,我们最终得到ORA-01461:只能在尝试插入行时插入LONG列才能绑定LONG值.在第二种情况下,数据正确插入,但在查询时返回为空字符串.

有谁知道如何使这项工作?答案必须与SQL Server和Oracle兼容.我宁愿不必编写自定义扩展,例如用户类型和驱动程序子类.谢谢.

oracle nhibernate text clob lob

5
推荐指数
1
解决办法
6809
查看次数

Linq:创建空 IGrouping

我想使用 Linq 创建一个函数来总结传入的值序列。该函数应该如下所示:

IDictionary<TKey, Summary<TKey>> Summarize<TKey, TValue>(IEnumerable<TValue> values)
{
    return values
        .ToLookup(val => GetKey(val))         // group values by key
        .Union(*an empty grouping*)           // make sure there is a default group
        .ToDictionary(
            group => group.Key,
            group => CreateSummary(group));   // summarize each group
}
Run Code Online (Sandbox Code Playgroud)

问题是,即使传入序列不包含具有该键的值,生成的 IDictionary 也应该有一个 default(TKey) 条目。这可以以纯函数的方式完成吗?(不使用可变数据结构。)

我能想到的唯一方法是在将其输入字典之前调用 .Union 进行查找。但这需要我创建一个空的 IGrouping,如果没有显式类,这似乎是不可能的。有没有一种优雅的方法来做到这一点?

编辑:我们可以假设 TKey 是一种值类型。

linq igrouping ilookup

5
推荐指数
2
解决办法
3506
查看次数

使用FParsec解析自描述输入

我正在使用FParsec来解析描述其自己格式的输入.例如,考虑这个输入:

int,str,int:4,'hello',3
Run Code Online (Sandbox Code Playgroud)

输入的第一部分(冒号前)描述了输入的第二部分的格式.在这种情况下,格式是int,str,int,这意味着实际的数据由三个以逗号分隔的给定类型的值,所以结果应该是4,"hello",3.

使用FParsec解析类似这样的东西的最佳方法是什么?

我已经在下面尽了最大的努力,但我对此并不满意.有没有更好的方法来做到更清洁,更少有状态,更少依赖parsemonad?我认为这取决于UserState的更智能管理,但我不知道该怎么做.谢谢.

open FParsec

type State = { Formats : string[]; Index : int32 }
    with static member Default = { Formats = [||]; Index = 0 }

type Value =
    | Integer of int
    | String of string

let parseFormat : Parser<_, State> =
    parse {
        let! formats =
            sepBy
                (pstring "int" <|> pstring "str")
                (skipString ",")
                |>> Array.ofList
        do! updateUserState (fun …
Run Code Online (Sandbox Code Playgroud)

f# fparsec

5
推荐指数
2
解决办法
478
查看次数

使用NuGet升级FSharp.Core的奇怪行为

我有一个使用FSharp.Core版本4.1.0的F#项目.当我升级到4.1.12版时,NuGet将以下文件添加到项目的源代码目录中:

  • any/netstandard1.6/FSharp.Core.sigdata
  • any/netstandard1.6/FSharp.Core.optdata

我希望NuGet在packages目录下添加文件,而不是直接添加到我的项目中.将这些文件与.fs项目源代码树中的文件一起显示似乎很奇怪.这是预期的行为吗?我可以安全地删除这些文件(因为副本可能也存在packages)?

这是我看到的一个例子:

在此输入图像描述

f# nuget

5
推荐指数
0
解决办法
65
查看次数

F# 中的箭头“proc”符号

F# 中的箭头是否有“proc”符号的实现?在 Haskell 中,它看起来像这样:

mean2 :: Fractional a => Circuit a a
mean2 = proc value -> do
    t <- total -< value
    n <- total -< 1
    returnA -< t / n
Run Code Online (Sandbox Code Playgroud)

注意proc关键字和-<符号。

理想情况下,这可能会以某种方式使用计算表达式,但我也对其他方法持开放态度。

f# haskell arrows f#+

5
推荐指数
1
解决办法
223
查看次数

NHibernate ExecuteUpdate不参与当前事务?

我的代码看起来像这样:

using (var session = this.sessionCreator.OpenSession())
using (var transaction = session.BeginTransaction())
{
    session.SaveOrUpdate(anObject);
    session.CreateSQLQuery(sql)
        .ExecuteUpdate();
    transaction.Commit();
}
Run Code Online (Sandbox Code Playgroud)

令人惊讶的是,SQL查询在anObject保存之前执行.显然,该ExecuteUpdate命令不参与当前事务.有没有办法让更新在事务中登记?

nhibernate transactions

4
推荐指数
1
解决办法
5192
查看次数

如何使用FParsec解析F#中的一个非常大的文件

我正在尝试使用FParsec解析一个非常大的文件.该文件的大小为61GB,太大而无法保存在RAM中,所以我想生成一系列结果(即seq <'Result>),而不是列表,如果可能的话.这可以用FParsec完成吗?(我已经提出了一个实际执行此操作的简易操作实现,但由于CharStream.Seek的O(n)性能,它在实践中不能很好地工作.)

该文件是面向行的(每行一个记录),这应该使理论上可以一次分批解析1000个记录.FParsec" 提示和技巧 "部分说:

如果您正在处理大型输入文件或非常慢的解析器,那么尝试并行解析单个文件中的多个部分也是值得的.为了提高效率,必须有一种快速的方法来找到这些部分的起点和终点.例如,如果要解析大型序列化数据结构,则该格式可能允许您轻松跳过文件中的段,以便您可以将输入切换为可以并行解析的多个独立部分.另一个例子可以是编程语言,其语法使得易于跳过完整的类或函数定义,例如通过找到右括号或通过解释缩进.在这种情况下,可能不值得在遇到定义时直接解析定义,而是跳过它们,将其文本内容推送到队列中,然后并行处理该队列.

这对我来说听起来很完美:我想将每批记录预解析成一个队列,然后稍后并行完成解析.但是,我不知道如何使用FParsec API完成此任务.如何在不耗尽所有RAM的情况下创建这样的队列?

FWIW,我试图解析的文件是在这里,如果有人想尝试与我.:)

f# parsing large-files bigdata fparsec

4
推荐指数
1
解决办法
707
查看次数

Visual Studio 2017 v15.5.0中的F#项目类型

我今天将VS2017升级到v15.5,我不再能够创建一个使用普通旧.NET Framework的F#项目.我现在看到的主要选项是:

  • 控制台应用程序(.NET Core)
  • 类库(.NET标准)

.NET Core下还有许多其他项目类型.我正在使用面向.NET Framework 4.6.1的项目的现有解决方案,因此我想创建一个与这些项目一致的新项目.此外,我想选择使用WPF和其他Windows特有的功能.F#不再可能吗?

.net f# visual-studio visual-studio-2017

4
推荐指数
1
解决办法
257
查看次数

F# 泛型类型约束可以指定超过 1 个有效类型吗?

我有这个示例函数签名:

let func1 (input:'a when 'a :> (IReadOnlyDictionary<string, string>)) =
...
Run Code Online (Sandbox Code Playgroud)

我也想允许'a成为一名IDictionary<string, string>). 所以任何一种类型都可以通过。input使用两个接口都支持的参数调用的代码TryGetValue。

是否可以指定这样的 OR 类型约束?如果是这样,那么具体的语法是什么?

generics f#

4
推荐指数
1
解决办法
142
查看次数

在F#WPF MVVM应用程序中绑定到TextBox的TextChanged事件

我想绑定到使用FsXaml和FSharp.ViewModule构建的MVVM F#应用程序中的WPF TextBox.我在此处描述的应用程序中添加了一个名为"SetA"的命令,并尝试使用以下XAML绑定到它:

<TextBox Text="{Binding Score.ScoreA, Mode=OneWay}" FontFamily="Lucida Console">
    <i:Interaction.Triggers>
        <i:EventTrigger EventName="TextChanged">
            <fsx:EventToCommand Command="{Binding SetA}" />
        </i:EventTrigger>
    </i:Interaction.Triggers>
</TextBox>
Run Code Online (Sandbox Code Playgroud)

从ScoreA属性正确填充TextBox,但是当我在TextBox中键入新值时,不会调用SetA命令.我对F#很满意,但这是我的第一个WPF MVVM应用程序,所以我不确定我做错了什么.当用户更改文本值时,如何触发我的SetA处理程序?

这是我的ViewModel:

type MainViewModel(controller : Score -> ScoringEvent -> Score) as self = 
    inherit EventViewModelBase<ScoringEvent>()

    let score = self.Factory.Backing(<@ self.Score @>, Score.zero)

    let eventHandler ev =
        score.Value <- controller score.Value ev

    do
        self.EventStream
        |> Observable.add eventHandler

    member this.IncA = this.Factory.EventValueCommand(IncA)
    member this.DecA = this.Factory.EventValueCommandChecked(DecA, (fun _ -> this.Score.ScoreA > 0), [ <@@ this.Score @@> ])
    member this.IncB = …
Run Code Online (Sandbox Code Playgroud)

wpf xaml f# mvvm fsxaml

3
推荐指数
1
解决办法
1030
查看次数

F#缺少类型约束

在以下代码中,请注意get_Zero的类型约束:

type Wrapper<'t> = { Data : 't[] }

let compute<'t
    when 't : (static member get_Zero : unit -> 't)
    and 't : (static member (~-) : 't -> 't)
    and 't : (static member (+) : 't * 't -> 't)>
        (wrapper : Wrapper<'t>) =
    wrapper.Data
        |> Seq.mapi (fun i value -> (i, value))
        |> Seq.sumBy (fun (i, value) ->
            if i % 2 = 0 then value
            else -value)
Run Code Online (Sandbox Code Playgroud)

即使我已经有一个显式类型约束,我仍然在调用Seq.sumBy时遇到以下编译器错误:

类型参数缺少约束'when ^ t :(静态成员get_Zero: - > ^ …

f# type-constraints

2
推荐指数
1
解决办法
274
查看次数