如何使用 FsCheck 生成随机数作为基于 属性 的测试的输入
How to use FsCheck to generate random numbers as input for property-based testing
我认为是时候试用 FsCheck 了,但事实证明它比我想象的要难。有很多关于 Arb
、生成器等的文档,但似乎没有关于如何应用这些知识的任何指导。或者我只是不明白。
可能更难理解的是测试、属性、生成器、任意性、收缩之间的关系,在我的例子中,随机性(一些测试自动生成随机数据,另一些则不)不清楚我。我没有 Haskell 背景,所以这也没什么用。
现在问题来了:如何生成随机整数?
我的测试场景可以解释乘法的性质,比方说分配率:
static member ``Multiplication is distributive`` (x: int64) y z =
let res1 = x * (y + z)
let res2 = x * y + x * z
res1 = res2
// run it:
[<Test>]
static member FsCheckAsUnitTest() =
Check.One({ Config.VerboseThrowOnFailure with MaxTest = 1000 }, ``Multiplication is distributive``)
当我 运行 使用 Check.Verbose
或 NUnit 集成时,我得到如下测试序列:
0:
(-1L, -1L, -1L)
1:
(-1L, -1L, 0L)
2:
(-1L, -1L, -1L)
3:
(-1L, -1L, -1L)
4:
(-1L, 0L, -1L)
5:
(1L, 0L, 2L)
6:
(-2L, 0L, -1L)
7:
(-2L, -1L, -1L)
8:
(1L, 1L, -2L)
9:
(-2L, 2L, -2L)
经过 1000 次测试后,它还没有结束 100L
。不知何故,我想象这会 "automatically" 选择均匀分布在整个 int64
范围内的随机数,至少我是这样解释文档的。
既然没有,我开始试验并想出了如下愚蠢的解决方案来获得更高的数字:
type Generators =
static member arbMyRecord =
Arb.generate<int64>
|> Gen.where ((<) 1000L)
|> Gen.three
|> Arb.fromGen
但这变得异常缓慢,显然不是正确的方法。我确定一定有一个我缺少的简单解决方案。我试过 Gen.choose(Int64.MinValue, Int64.MaxValue)
,但这只支持整数,不支持长整数(但即使只有整数我也无法让它工作)。
最后我需要一个适用于所有原始数字数据类型的解决方案,包括它们的最大值和最小值、它们的零和一,以及从其中随机选择的内容。
如 中所述,大多数 Check
函数的默认配置都有 EndSize = 100
。您可以增加该数字,但也可以按照您的建议使用 Gen.choose
.
尽管如此,int
生成器是 intentionally well-behaved。例如,它不包括 Int32.MinValue
和 Int32.MaxValue
,因为这可能会导致溢出。
但是,FsCheck 也带有生成器,可以在整个范围内为您提供均匀分布:Arb.Default.DoNotSizeInt16
、Arb.Default.DoNotSizeUInt64
,等等。
对于浮点值,有 Arb.Default.Float32
,根据其文档,它生成 "arbitrary floats, NaN, NegativeInfinity, PositiveInfinity, Maxvalue, MinValue, Epsilon included fairly frequently".
对于 'just' 任何数字都没有统一的 API,因为 F# 没有类型类(这是您可以在 Haskell 中表达的内容)。
此外,我不确定您的典型单元测试框架是否能够 运行 通用测试,但至少对于 xUnit.net,您可以使用 this trick to run generically typed tests.
不过,具体来说,您可以使用 FsCheck.Xunit:
像这样编写上面的测试
open FsCheck
open FsCheck.Xunit
[<Property>]
let ``Multiplication is distributive`` () =
Arb.generate<DoNotSize<int64>>
|> Gen.map (fun (DoNotSize x) -> x)
|> Gen.three
|> Arb.fromGen
|> Prop.forAll <| fun (x, y, z) ->
let res1 = x * (y + z)
let res2 = x * y + x * z
res1 = res2
假设这可能会因溢出而失败,但在 运行 大约 1,000,000 个案例之后,我还没有看到它失败。
然而,生成器看起来确实像是从整个 64 位整数范围中选取值:
> Arb.generate<DoNotSize<int64>> |> Gen.sample 1 10;;
val it : DoNotSize<int64> list =
[DoNotSize -28197L; DoNotSize -123346460471168L; DoNotSize -28719L;
DoNotSize -125588489564554L; DoNotSize -29241L;
DoNotSize 7736726437182770284L; DoNotSize -2382327248148602956L;
DoNotSize -554678787L; DoNotSize -1317194353L; DoNotSize -29668L]
请注意,即使我将 Gen.sample
的 size
参数绑定到 1
,它也会选择 'arbitrarily' 大的正值和负值。
我认为是时候试用 FsCheck 了,但事实证明它比我想象的要难。有很多关于 Arb
、生成器等的文档,但似乎没有关于如何应用这些知识的任何指导。或者我只是不明白。
可能更难理解的是测试、属性、生成器、任意性、收缩之间的关系,在我的例子中,随机性(一些测试自动生成随机数据,另一些则不)不清楚我。我没有 Haskell 背景,所以这也没什么用。
现在问题来了:如何生成随机整数?
我的测试场景可以解释乘法的性质,比方说分配率:
static member ``Multiplication is distributive`` (x: int64) y z =
let res1 = x * (y + z)
let res2 = x * y + x * z
res1 = res2
// run it:
[<Test>]
static member FsCheckAsUnitTest() =
Check.One({ Config.VerboseThrowOnFailure with MaxTest = 1000 }, ``Multiplication is distributive``)
当我 运行 使用 Check.Verbose
或 NUnit 集成时,我得到如下测试序列:
0:
(-1L, -1L, -1L)
1:
(-1L, -1L, 0L)
2:
(-1L, -1L, -1L)
3:
(-1L, -1L, -1L)
4:
(-1L, 0L, -1L)
5:
(1L, 0L, 2L)
6:
(-2L, 0L, -1L)
7:
(-2L, -1L, -1L)
8:
(1L, 1L, -2L)
9:
(-2L, 2L, -2L)
经过 1000 次测试后,它还没有结束 100L
。不知何故,我想象这会 "automatically" 选择均匀分布在整个 int64
范围内的随机数,至少我是这样解释文档的。
既然没有,我开始试验并想出了如下愚蠢的解决方案来获得更高的数字:
type Generators =
static member arbMyRecord =
Arb.generate<int64>
|> Gen.where ((<) 1000L)
|> Gen.three
|> Arb.fromGen
但这变得异常缓慢,显然不是正确的方法。我确定一定有一个我缺少的简单解决方案。我试过 Gen.choose(Int64.MinValue, Int64.MaxValue)
,但这只支持整数,不支持长整数(但即使只有整数我也无法让它工作)。
最后我需要一个适用于所有原始数字数据类型的解决方案,包括它们的最大值和最小值、它们的零和一,以及从其中随机选择的内容。
如 Check
函数的默认配置都有 EndSize = 100
。您可以增加该数字,但也可以按照您的建议使用 Gen.choose
.
尽管如此,int
生成器是 intentionally well-behaved。例如,它不包括 Int32.MinValue
和 Int32.MaxValue
,因为这可能会导致溢出。
但是,FsCheck 也带有生成器,可以在整个范围内为您提供均匀分布:Arb.Default.DoNotSizeInt16
、Arb.Default.DoNotSizeUInt64
,等等。
对于浮点值,有 Arb.Default.Float32
,根据其文档,它生成 "arbitrary floats, NaN, NegativeInfinity, PositiveInfinity, Maxvalue, MinValue, Epsilon included fairly frequently".
对于 'just' 任何数字都没有统一的 API,因为 F# 没有类型类(这是您可以在 Haskell 中表达的内容)。
此外,我不确定您的典型单元测试框架是否能够 运行 通用测试,但至少对于 xUnit.net,您可以使用 this trick to run generically typed tests.
不过,具体来说,您可以使用 FsCheck.Xunit:
像这样编写上面的测试open FsCheck
open FsCheck.Xunit
[<Property>]
let ``Multiplication is distributive`` () =
Arb.generate<DoNotSize<int64>>
|> Gen.map (fun (DoNotSize x) -> x)
|> Gen.three
|> Arb.fromGen
|> Prop.forAll <| fun (x, y, z) ->
let res1 = x * (y + z)
let res2 = x * y + x * z
res1 = res2
假设这可能会因溢出而失败,但在 运行 大约 1,000,000 个案例之后,我还没有看到它失败。
然而,生成器看起来确实像是从整个 64 位整数范围中选取值:
> Arb.generate<DoNotSize<int64>> |> Gen.sample 1 10;;
val it : DoNotSize<int64> list =
[DoNotSize -28197L; DoNotSize -123346460471168L; DoNotSize -28719L;
DoNotSize -125588489564554L; DoNotSize -29241L;
DoNotSize 7736726437182770284L; DoNotSize -2382327248148602956L;
DoNotSize -554678787L; DoNotSize -1317194353L; DoNotSize -29668L]
请注意,即使我将 Gen.sample
的 size
参数绑定到 1
,它也会选择 'arbitrarily' 大的正值和负值。