并发讨论

[xllrun]

我的显卡是L20 , 40G显存，使用CUDA_VISIBLE_DEVICES=0 mineru-api --host 0.0.0.0 --port 8002--enable-vlm-preload True ,去测试并发，并发2个文档的时间和串行的时间差不多一致，并发没有出现更快的情况，会拖慢文档的解析速度，使得整体速度和串行差不多一致，如下情况

A文件 1并发 383.33s 2并发 533.6s
B文件 1并发 160.38s 2并发 368.78s
总时间 1并发 543.71s 2并发 533.6s

在一个GPU上并发没有看到解析速度的提升，是哪边未配置正确吗？

[myhloli]

如果您在高并发功能上没有获得显著收益，说明您的业务场景不适用于高并发功能。高并发场景通常是成百上千个文档的队列，每个文档长度存在较大差异。比如10个1000页文档和100个10页文档，在支持高并发的环境下，短文档能更快的进入解析队列而不用等待长文档解析完成，这就是高并发效果较好的场景，如果您只需要离线解析，那用不用高并发差异确实不是很大。

[xllrun]

了解了，谢谢，刚刚测试了下批量跑：
1个125页pdf，和100多个2页pdf
3个并发：215.68s
串行：425.90s

1个125页pdf, 和20多个10页的pdf
3个并发：145s
串行：203.52s

高并发的前提得文档的长度存在差异化, 看具体应用场景