模型量化入门 | Swift's Blog

模型量化入门

Swift Lv6

2024-01-24 11:31:21 2024-01-24 11:31:21

NLP

LLM
Quantize

量化已经是LLM部署和推理的必备环节了，在此了解一下：

https://bbs.huaweicloud.com/blogs/390419