如何使用 FsCheck 生成随机数作为基于 属性 的测试的输入

How to use FsCheck to generate random numbers as input for property-based testing

我认为是时候试用 FsCheck 了,但事实证明它比我想象的要难。有很多关于 Arb、生成器等的文档,但似乎没有关于如何应用这些知识的任何指导。或者我只是不明白。

可能更难理解的是测试、属性、生成器、任意性、收缩之间的关系,在我的例子中,随机性(一些测试自动生成随机数据,另一些则不)不清楚我。我没有 Haskell 背景,所以这也没什么用。

现在问题来了:如何生成随机整数?

我的测试场景可以解释乘法的性质,比方说分配率:

static member  ``Multiplication is distributive`` (x: int64) y z =
    let res1 = x * (y + z)
    let res2 = x * y + x * z

    res1 = res2

// run it:
[<Test>]
static member FsCheckAsUnitTest() =
    Check.One({ Config.VerboseThrowOnFailure with MaxTest = 1000 }, ``Multiplication is distributive``)

当我 运行 使用 Check.Verbose 或 NUnit 集成时,我得到如下测试序列:

0:
(-1L, -1L, -1L)
1:
(-1L, -1L, 0L)
2:
(-1L, -1L, -1L)
3:
(-1L, -1L, -1L)
4:
(-1L, 0L, -1L)
5:
(1L, 0L, 2L)
6:
(-2L, 0L, -1L)
7:
(-2L, -1L, -1L)
8:
(1L, 1L, -2L)
9:
(-2L, 2L, -2L)

经过 1000 次测试后,它还没有结束 100L。不知何故,我想象这会 "automatically" 选择均匀分布在整个 int64 范围内的随机数,至少我是这样解释文档的。

既然没有,我开始试验并想出了如下愚蠢的解决方案来获得更高的数字:

type Generators = 
    static member arbMyRecord =
        Arb.generate<int64>
        |> Gen.where ((<) 1000L)
        |> Gen.three
        |> Arb.fromGen

但这变得异常缓慢,显然不是正确的方法。我确定一定有一个我缺少的简单解决方案。我试过 Gen.choose(Int64.MinValue, Int64.MaxValue),但这只支持整数,不支持长整数(但即使只有整数我也无法让它工作)。

最后我需要一个适用于所有原始数字数据类型的解决方案,包括它们的最大值和最小值、它们的零和一,以及从其中随机选择的内容。

中所述,大多数 Check 函数的默认配置都有 EndSize = 100。您可以增加该数字,但也可以按照您的建议使用 Gen.choose.

尽管如此,int 生成器是 intentionally well-behaved。例如,它不包括 Int32.MinValueInt32.MaxValue,因为这可能会导致溢出。

但是,FsCheck 也带有生成器,可以在整个范围内为您提供均匀分布:Arb.Default.DoNotSizeInt16Arb.Default.DoNotSizeUInt64,等等。

对于浮点值,有 Arb.Default.Float32,根据其文档,它生成 "arbitrary floats, NaN, NegativeInfinity, PositiveInfinity, Maxvalue, MinValue, Epsilon included fairly frequently".

对于 'just' 任何数字都没有统一的 API,因为 F# 没有类型类(这是您可以在 Haskell 中表达的内容)。

此外,我不确定您的典型单元测试框架是否能够 运行 通用测试,但至少对于 xUnit.net,您可以使用 this trick to run generically typed tests.


不过,具体来说,您可以使用 FsCheck.Xunit:

像这样编写上面的测试
open FsCheck
open FsCheck.Xunit

[<Property>]
let ``Multiplication is distributive`` () =
    Arb.generate<DoNotSize<int64>>
    |> Gen.map (fun (DoNotSize x) -> x)
    |> Gen.three
    |> Arb.fromGen
    |> Prop.forAll <| fun (x, y, z) ->

        let res1 = x * (y + z)
        let res2 = x * y + x * z

        res1 = res2

假设这可能会因溢出而失败,但在 运行 大约 1,000,000 个案例之后,我还没有看到它失败。

然而,生成器看起来确实像是从整个 64 位整数范围中选取值:

> Arb.generate<DoNotSize<int64>> |> Gen.sample 1 10;;
val it : DoNotSize<int64> list =
  [DoNotSize -28197L; DoNotSize -123346460471168L; DoNotSize -28719L;
   DoNotSize -125588489564554L; DoNotSize -29241L;
   DoNotSize 7736726437182770284L; DoNotSize -2382327248148602956L;
   DoNotSize -554678787L; DoNotSize -1317194353L; DoNotSize -29668L]

请注意,即使我将 Gen.samplesize 参数绑定到 1,它也会选择 'arbitrarily' 大的正值和负值。