我有TransformManyBlock以下设计:
我在一个巨大的文件(61GB)上运行这个块,这个文件太大而无法放入RAM中.为了避免无限制的内存增长,我BoundedCapacity为这个块和所有下游块设置了一个非常低的值(例如1).尽管如此,该块显然会贪婪地迭代IEnumerable,它消耗了计算机上的所有可用内存,使每个进程停止运行.在我杀死进程之前,块的OutputCount继续无限制地上升.
我该怎么做才能防止块IEnumerable以这种方式消耗?
编辑:这是一个示例程序,说明了问题:
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading;
using System.Threading.Tasks;
using System.Threading.Tasks.Dataflow;
class Program
{
static IEnumerable<string> GetSequence(char c)
{
for (var i = 0; i < 1024 * 1024; ++i)
yield return new string(c, 1024 * 1024);
}
static void Main(string[] args)
{
var options = new ExecutionDataflowBlockOptions() { BoundedCapacity = 1 };
var firstBlock = new TransformManyBlock<char, string>(c => GetSequence(c), options);
var secondBlock = new ActionBlock<string>(str …Run Code Online (Sandbox Code Playgroud) 将NHibernate 3.1与SQL Server和Oracle DB一起使用时,我们需要存储一个长度超过4000个字符的文本字符串.文本实际上是XML,但这并不重要 - 我们只想将其视为原始文本.使用SQL Server,这很容易.我们将该列声明为NVARCHAR(MAX)并将其映射到:
<property name="MyLongTextValue" length="100000"/>
Run Code Online (Sandbox Code Playgroud)
使用length属性告诉NHibernate期望一个字符串可能超过4000个字符.
对于我的生活,我无法弄清楚如何在Oracle 11g上完成这项工作.我已经尝试将该列声明为XMLTYPE和LONG,但没有成功.在第一种情况下,我们最终得到ORA-01461:只能在尝试插入行时插入LONG列才能绑定LONG值.在第二种情况下,数据正确插入,但在查询时返回为空字符串.
有谁知道如何使这项工作?答案必须与SQL Server和Oracle兼容.我宁愿不必编写自定义扩展,例如用户类型和驱动程序子类.谢谢.
我想使用 Linq 创建一个函数来总结传入的值序列。该函数应该如下所示:
IDictionary<TKey, Summary<TKey>> Summarize<TKey, TValue>(IEnumerable<TValue> values)
{
return values
.ToLookup(val => GetKey(val)) // group values by key
.Union(*an empty grouping*) // make sure there is a default group
.ToDictionary(
group => group.Key,
group => CreateSummary(group)); // summarize each group
}
Run Code Online (Sandbox Code Playgroud)
问题是,即使传入序列不包含具有该键的值,生成的 IDictionary 也应该有一个 default(TKey) 条目。这可以以纯函数的方式完成吗?(不使用可变数据结构。)
我能想到的唯一方法是在将其输入字典之前调用 .Union 进行查找。但这需要我创建一个空的 IGrouping,如果没有显式类,这似乎是不可能的。有没有一种优雅的方法来做到这一点?
编辑:我们可以假设 TKey 是一种值类型。
我正在使用FParsec来解析描述其自己格式的输入.例如,考虑这个输入:
int,str,int:4,'hello',3
Run Code Online (Sandbox Code Playgroud)
输入的第一部分(冒号前)描述了输入的第二部分的格式.在这种情况下,格式是int,str,int,这意味着实际的数据由三个以逗号分隔的给定类型的值,所以结果应该是4,"hello",3.
使用FParsec解析类似这样的东西的最佳方法是什么?
我已经在下面尽了最大的努力,但我对此并不满意.有没有更好的方法来做到更清洁,更少有状态,更少依赖parsemonad?我认为这取决于UserState的更智能管理,但我不知道该怎么做.谢谢.
open FParsec
type State = { Formats : string[]; Index : int32 }
with static member Default = { Formats = [||]; Index = 0 }
type Value =
| Integer of int
| String of string
let parseFormat : Parser<_, State> =
parse {
let! formats =
sepBy
(pstring "int" <|> pstring "str")
(skipString ",")
|>> Array.ofList
do! updateUserState (fun …Run Code Online (Sandbox Code Playgroud) 我有一个使用FSharp.Core版本4.1.0的F#项目.当我升级到4.1.12版时,NuGet将以下文件添加到项目的源代码目录中:
any/netstandard1.6/FSharp.Core.sigdataany/netstandard1.6/FSharp.Core.optdata我希望NuGet在packages目录下添加文件,而不是直接添加到我的项目中.将这些文件与.fs项目源代码树中的文件一起显示似乎很奇怪.这是预期的行为吗?我可以安全地删除这些文件(因为副本可能也存在packages)?
这是我看到的一个例子:
F# 中的箭头是否有“proc”符号的实现?在 Haskell 中,它看起来像这样:
mean2 :: Fractional a => Circuit a a
mean2 = proc value -> do
t <- total -< value
n <- total -< 1
returnA -< t / n
Run Code Online (Sandbox Code Playgroud)
注意proc关键字和-<符号。
理想情况下,这可能会以某种方式使用计算表达式,但我也对其他方法持开放态度。
我的代码看起来像这样:
using (var session = this.sessionCreator.OpenSession())
using (var transaction = session.BeginTransaction())
{
session.SaveOrUpdate(anObject);
session.CreateSQLQuery(sql)
.ExecuteUpdate();
transaction.Commit();
}
Run Code Online (Sandbox Code Playgroud)
令人惊讶的是,SQL查询在anObject保存之前执行.显然,该ExecuteUpdate命令不参与当前事务.有没有办法让更新在事务中登记?
我正在尝试使用FParsec解析一个非常大的文件.该文件的大小为61GB,太大而无法保存在RAM中,所以我想生成一系列结果(即seq <'Result>),而不是列表,如果可能的话.这可以用FParsec完成吗?(我已经提出了一个实际执行此操作的简易操作实现,但由于CharStream.Seek的O(n)性能,它在实践中不能很好地工作.)
该文件是面向行的(每行一个记录),这应该使理论上可以一次分批解析1000个记录.FParsec" 提示和技巧 "部分说:
如果您正在处理大型输入文件或非常慢的解析器,那么尝试并行解析单个文件中的多个部分也是值得的.为了提高效率,必须有一种快速的方法来找到这些部分的起点和终点.例如,如果要解析大型序列化数据结构,则该格式可能允许您轻松跳过文件中的段,以便您可以将输入切换为可以并行解析的多个独立部分.另一个例子可以是编程语言,其语法使得易于跳过完整的类或函数定义,例如通过找到右括号或通过解释缩进.在这种情况下,可能不值得在遇到定义时直接解析定义,而是跳过它们,将其文本内容推送到队列中,然后并行处理该队列.
这对我来说听起来很完美:我想将每批记录预解析成一个队列,然后稍后并行完成解析.但是,我不知道如何使用FParsec API完成此任务.如何在不耗尽所有RAM的情况下创建这样的队列?
FWIW,我试图解析的文件是在这里,如果有人想尝试与我.:)
我今天将VS2017升级到v15.5,我不再能够创建一个使用普通旧.NET Framework的F#项目.我现在看到的主要选项是:
.NET Core下还有许多其他项目类型.我正在使用面向.NET Framework 4.6.1的项目的现有解决方案,因此我想创建一个与这些项目一致的新项目.此外,我想选择使用WPF和其他Windows特有的功能.F#不再可能吗?
我有这个示例函数签名:
let func1 (input:'a when 'a :> (IReadOnlyDictionary<string, string>)) =
...
Run Code Online (Sandbox Code Playgroud)
我也想允许'a成为一名IDictionary<string, string>). 所以任何一种类型都可以通过。input使用两个接口都支持的参数调用的代码TryGetValue。
是否可以指定这样的 OR 类型约束?如果是这样,那么具体的语法是什么?
我想绑定到使用FsXaml和FSharp.ViewModule构建的MVVM F#应用程序中的WPF TextBox.我在此处描述的应用程序中添加了一个名为"SetA"的命令,并尝试使用以下XAML绑定到它:
<TextBox Text="{Binding Score.ScoreA, Mode=OneWay}" FontFamily="Lucida Console">
<i:Interaction.Triggers>
<i:EventTrigger EventName="TextChanged">
<fsx:EventToCommand Command="{Binding SetA}" />
</i:EventTrigger>
</i:Interaction.Triggers>
</TextBox>
Run Code Online (Sandbox Code Playgroud)
从ScoreA属性正确填充TextBox,但是当我在TextBox中键入新值时,不会调用SetA命令.我对F#很满意,但这是我的第一个WPF MVVM应用程序,所以我不确定我做错了什么.当用户更改文本值时,如何触发我的SetA处理程序?
这是我的ViewModel:
type MainViewModel(controller : Score -> ScoringEvent -> Score) as self =
inherit EventViewModelBase<ScoringEvent>()
let score = self.Factory.Backing(<@ self.Score @>, Score.zero)
let eventHandler ev =
score.Value <- controller score.Value ev
do
self.EventStream
|> Observable.add eventHandler
member this.IncA = this.Factory.EventValueCommand(IncA)
member this.DecA = this.Factory.EventValueCommandChecked(DecA, (fun _ -> this.Score.ScoreA > 0), [ <@@ this.Score @@> ])
member this.IncB = …Run Code Online (Sandbox Code Playgroud) 在以下代码中,请注意get_Zero的类型约束:
type Wrapper<'t> = { Data : 't[] }
let compute<'t
when 't : (static member get_Zero : unit -> 't)
and 't : (static member (~-) : 't -> 't)
and 't : (static member (+) : 't * 't -> 't)>
(wrapper : Wrapper<'t>) =
wrapper.Data
|> Seq.mapi (fun i value -> (i, value))
|> Seq.sumBy (fun (i, value) ->
if i % 2 = 0 then value
else -value)
Run Code Online (Sandbox Code Playgroud)
即使我已经有一个显式类型约束,我仍然在调用Seq.sumBy时遇到以下编译器错误:
类型参数缺少约束'when ^ t :(静态成员get_Zero: - > ^ …