How about 3.0.0? Discuss here!!!!!! 收集 3.0.0 版本的使用体验！！！

[CUsopp]

just talk~

[finch-xu]

实测非常稳定、非常快、支持高并发。
启动mineru-router配置两个节点，一个节点15G显存，进行大批量的pdf跑批，pdf是80页到400多页都有。
一个节点占用内存大约22G，CPU突发在12C到20C变化，资源占用少而且非常稳定，以前经常爆内存。
以前vllm部署最大显存控制不住，时间长了经常增长，比如80G显存给0.2大约16G，时间长了经常到20G显存，现在能稳定控制住了显存在16G以内不变。
每个pdf的解析速度都加快了相比之前，而且都是并发解析的。
mineru内部对pdf进行了切分，经常分成三份解析，暂不知道切分逻辑。

[finch-xu]

这个api是基于什么引擎呢？如果是pipe的话，会不会有点太高了？

vlm-auto-engine

[nplus-yi]

方便分享一下硬件环境吗？

[finch-xu]

A800的服务器，生产环境用的，cpu内存管够，但是docker部署的时候控制了一下防止过度占用。

[lth0418]

A800的服务器，生产环境用的，cpu内存管够，但是docker部署的时候控制了一下防止过度占用。

老哥，请教一下，我用docker部署后，正常启动，然后调用fast-api时，会报错，说decice不能为空。这个服务器是纯cpu，请问这个应该怎么改？我的docker启动命令是docker run
--name mineru
-p 30000:30000
mineru:latest
mineru-api --host 0.0.0.0 --port 30000

另外我如果挂载了路径后，进入mineru容器然后执行mineru -p /root/mineru/input/test.pdf -o /root/mineru/output -b pipeline可以手动正常跑通，求教！！！

[myhloli]

cpu服务器调用api的form里要配置backend=pipeline

[CUsopp]

我怎么感觉 pipe 更新后识别效果更差了呢？很多细节的文字块都识别不出来 @myhloli
还有 gradio 怎么变成 mineru.cli.fast_api 了？端口也不是我自定义的 7861， 变成了32997？

[myhloli]

你可以理解成3.0的所有应用都是api套壳，底层都是fastapi，如果你给gradio配置了7861端口，那7861端口还是可以正常访问的。

[CUsopp]

原来如此

[lth0418]

我也刚刚看到，试了一下，可以了，谢谢大哥！ 灰小椰 ***@***.***