在 EF 上进行性能测试时的并发延迟
Concurrency Delay When Performance testing on EF
我是 运行 EF 性能测试人员,因为我们在服务器上遇到了一些 运行 并发调用问题。
这是我针对 northwind 数据库执行的测试,数据库中有 20,000 名额外员工以减慢检索速度
单次执行通常 return 在大约 451 毫秒内,但是当并行调用时,我似乎看到了一些奇怪的额外执行时间
当我 运行 10 个并发调用时,我的开销增加了 4 倍。这可能看起来微不足道,但当我在我的数据库上执行操作时,你会发现它变得更糟了。
当运行 sp_whoisactive你可以看到sql已经完成,正在等待发送回(246ms)ASYNC_NETWORK_IO
Sql 不是瓶颈。
class Program
{
public static int MAX_IO_THREADS = 2000;
public static int MIN_IO_THREADS = 1000;
public static int CONCURRENT_CALLS = 10;
static void Main(string[] args)
{
ConfigureThreadPool();
WarmUpContexts();
ProfileAction();
Console.ReadKey();
}
protected static void ProfileAction()
{
var callRange = Enumerable.Range(0, CONCURRENT_CALLS);
var stopwatch = new Stopwatch();
stopwatch.Start();
var results = new ConcurrentDictionary<int, string>();
var parallelOptions = new ParallelOptions { MaxDegreeOfParallelism = 512 };
Parallel.ForEach(callRange, parallelOptions, i =>
{
var callSw = new Stopwatch();
callSw.Start();
var result = RunTest();
callSw.Stop();
results.TryAdd(i, $"Call Index: {i} took {callSw.ElapsedMilliseconds} milliseconds to complete");
});
stopwatch.Stop();
var milliseconds = stopwatch.ElapsedMilliseconds;
foreach (var result in results.OrderBy(x => x.Key))
{
Console.WriteLine(result);
}
Console.WriteLine("Total Time " + milliseconds);
}
public static void ConfigureThreadPool()
{
ThreadPool.GetMinThreads(out var defaultMinWorkerCount, out var _);
ThreadPool.GetMaxThreads(out var defaultMaxWorkerCount, out var _);
ThreadPool.SetMaxThreads(defaultMaxWorkerCount, MAX_IO_THREADS);
var successMin = ThreadPool.SetMinThreads(defaultMinWorkerCount, MIN_IO_THREADS);
}
static void WarmUpContexts()
{
using (var stagingContext = new NORTHWNDEntities())
{
stagingContext.Employees.First();
}
}
static int RunTest()
{
using (var context = new Entities())
{
var employees = context.Employees.ToArray();
return employees.Length;
}
}
}
我如何优化我的线程的性能,使它们实际上 return 注意如果我调用 async 这将永远挂起,
这可能是 .net 中的错误吗?
我的项目代码延迟的几个原因。
1.Configure线程池。打开您的 IO 线程将有助于延迟不仅 cpu 绑定的请求。例如将文件写入磁盘或网络绑定请求。
注意:如果您要设置更高的值,则需要注意不要
你有没有超过最大值,因为这些功能很差
命名,应该被称为 TrySetMin/TrySetMax 因为他们 return a
bool 是否成功
小心设置这些我只是为了测试和学习目的使用非常高的数字
ThreadPool.SetMaxThreads(defaultMaxWorkerCount, MAX_IO_THREADS);
ThreadPool.SetMinThreads(defaultMinWorkerCount, MIN_IO_THREADS);
2.GcServer 显然,在 .Net 中,垃圾收集器默认针对单核性能而非多核性能进行了优化。您可以在 MSDN
上阅读有关此问题的更多信息
注意:在 .Net 4.0 中启用 GCServer 会导致具有 UI 的应用程序出现问题。在 .Net 4.5 中,通过默认启用 gcConcurrent=true
解决了这些问题
<configuration>
<runtime>
<gcServer enabled="true"/>
</runtime>
</configuration>
3.Additional造成的延迟EntityFrameWork,看起来映射关系真的很昂贵,即使你没有拉出任何相关实体。
var employees = context.Employees.AsNoTracking().ToArray();
在使用非常大的数据库进行测试时,道德是,如果您正在为 GET 请求加载数据,请尽可能在不跟踪的情况下加载。
注意:这可能会导致意外行为,因为共享公共外键的不同实体将有不同的 CLR 对象与之关联
我是 运行 EF 性能测试人员,因为我们在服务器上遇到了一些 运行 并发调用问题。
这是我针对 northwind 数据库执行的测试,数据库中有 20,000 名额外员工以减慢检索速度
单次执行通常 return 在大约 451 毫秒内,但是当并行调用时,我似乎看到了一些奇怪的额外执行时间
当我 运行 10 个并发调用时,我的开销增加了 4 倍。这可能看起来微不足道,但当我在我的数据库上执行操作时,你会发现它变得更糟了。
当运行 sp_whoisactive你可以看到sql已经完成,正在等待发送回(246ms)ASYNC_NETWORK_IO
Sql 不是瓶颈。
class Program
{
public static int MAX_IO_THREADS = 2000;
public static int MIN_IO_THREADS = 1000;
public static int CONCURRENT_CALLS = 10;
static void Main(string[] args)
{
ConfigureThreadPool();
WarmUpContexts();
ProfileAction();
Console.ReadKey();
}
protected static void ProfileAction()
{
var callRange = Enumerable.Range(0, CONCURRENT_CALLS);
var stopwatch = new Stopwatch();
stopwatch.Start();
var results = new ConcurrentDictionary<int, string>();
var parallelOptions = new ParallelOptions { MaxDegreeOfParallelism = 512 };
Parallel.ForEach(callRange, parallelOptions, i =>
{
var callSw = new Stopwatch();
callSw.Start();
var result = RunTest();
callSw.Stop();
results.TryAdd(i, $"Call Index: {i} took {callSw.ElapsedMilliseconds} milliseconds to complete");
});
stopwatch.Stop();
var milliseconds = stopwatch.ElapsedMilliseconds;
foreach (var result in results.OrderBy(x => x.Key))
{
Console.WriteLine(result);
}
Console.WriteLine("Total Time " + milliseconds);
}
public static void ConfigureThreadPool()
{
ThreadPool.GetMinThreads(out var defaultMinWorkerCount, out var _);
ThreadPool.GetMaxThreads(out var defaultMaxWorkerCount, out var _);
ThreadPool.SetMaxThreads(defaultMaxWorkerCount, MAX_IO_THREADS);
var successMin = ThreadPool.SetMinThreads(defaultMinWorkerCount, MIN_IO_THREADS);
}
static void WarmUpContexts()
{
using (var stagingContext = new NORTHWNDEntities())
{
stagingContext.Employees.First();
}
}
static int RunTest()
{
using (var context = new Entities())
{
var employees = context.Employees.ToArray();
return employees.Length;
}
}
}
我如何优化我的线程的性能,使它们实际上 return 注意如果我调用 async 这将永远挂起,
这可能是 .net 中的错误吗?
我的项目代码延迟的几个原因。
1.Configure线程池。打开您的 IO 线程将有助于延迟不仅 cpu 绑定的请求。例如将文件写入磁盘或网络绑定请求。
注意:如果您要设置更高的值,则需要注意不要 你有没有超过最大值,因为这些功能很差 命名,应该被称为 TrySetMin/TrySetMax 因为他们 return a bool 是否成功
小心设置这些我只是为了测试和学习目的使用非常高的数字
ThreadPool.SetMaxThreads(defaultMaxWorkerCount, MAX_IO_THREADS);
ThreadPool.SetMinThreads(defaultMinWorkerCount, MIN_IO_THREADS);
2.GcServer 显然,在 .Net 中,垃圾收集器默认针对单核性能而非多核性能进行了优化。您可以在 MSDN
上阅读有关此问题的更多信息注意:在 .Net 4.0 中启用 GCServer 会导致具有 UI 的应用程序出现问题。在 .Net 4.5 中,通过默认启用 gcConcurrent=true
解决了这些问题<configuration>
<runtime>
<gcServer enabled="true"/>
</runtime>
</configuration>
3.Additional造成的延迟EntityFrameWork,看起来映射关系真的很昂贵,即使你没有拉出任何相关实体。
var employees = context.Employees.AsNoTracking().ToArray();
在使用非常大的数据库进行测试时,道德是,如果您正在为 GET 请求加载数据,请尽可能在不跟踪的情况下加载。
注意:这可能会导致意外行为,因为共享公共外键的不同实体将有不同的 CLR 对象与之关联