核心导读与中文摘要
Apache-2.0 协议开源,INT4 量化后可在单张消费级显卡流畅运行,兼顾结构化 JSON 输出与基础代码任务。
技术特性与工程选型卡片
Mini-Edge-14B 采用 Apache-2.0 协议开源,INT4 量化后显存占用可控,适合工作站与单张消费级显卡进行离线开发测试与隐私敏感推理。
本地运行建议
- 量化版本选择:优先使用
Q4_K_M或Q5_K_M,在显存约束与 JSON 结构化指令遵循稳定性之间取得平衡。 - 工具链搭配:可直接使用
Ollama或vLLM拉起 OpenAI 兼容端点,配合Dify/n8n构建完全离线的个人知识助手。
