查看原文
其他

Phi-3-mini 模型重要更新:长文本理解与指令遵循显著增强 | Phi-3 Cookbook 是宝藏

思辨view kate人不错
2024-08-22

引言

微软于7月2日发布了Phi-3-mini更新后的模型文件,不过微软官方文档中提到这是6月份的更新。更新后的模型在多方面能力得到了增强。

信息来源:https://huggingface.co/microsoft/Phi-3-mini-128k-instruct

使用指南

Ollama使用指南

Ollama上也更新了Phi-3模型,已下载Phi-3模型的朋友,记得使用ollama pull [模型名称]命令进行升级。

https://ollama.com/library/phi3/tags

https://github.com/microsoft/Phi-3CookBook/blob/main/md/02.QuickStart/Ollama_QuickStart.md

这里,还推荐另一个模型下载链接:

bartowski/Phi-3.1-mini-4k-instruct-GGUF · Hugging Face

https://huggingface.co/bartowski/Phi-3.1-mini-4k-instruct-GGUF

可以在LM Studio或Jan AI中搜索并下载以上提到的模型。

LM Studio使用指南

https://github.com/microsoft/Phi-3CookBook/blob/main/md/02.QuickStart/LMStudio_QuickStart.md

Phi-3 模型系列概览

Microsoft Phi-3 Cookbook:新手友好的学习资源

链接:https://github.com/microsoft/Phi-3CookBook

第一个文件:01.Introduce/EnvironmentSetup.md就详细介绍了设置过程。

适合新手,微软提供了一个 Ollama Python Playground,不需要占用本地电脑资源,可以快速上手。

可以在 GitHub Codespaces 中通过在浏览器中轻松尝试 SLM(小型语言模型)。


Microsoft Phi-3 Cookbook对初学者特别友好,内容很丰富,讲解很细致。

结语

Phi-3模型系列的最新更新带来了多方面的性能提升,特别是在长文本理解、指令遵循和结构化输出等方面。

微软不仅提供了多种使用途径,如Ollama和LM Studio,还推出了详尽的Phi-3 Cookbook,为用户提供了全面的学习和实践指南。

这些举措大大降低了使用门槛,使得不同背景的用户都能快速上手。

欢迎在评论区分享你对Phi-3模型系列的看法和使用经验,让我们一起交流进步。

如果你觉得这篇文章对你有帮助,请点赞、转发、收藏。

术语解释

  1. SLM (Small Language Model):小型语言模型,相对于GPT-3等大型模型,参数量较少但在特定任务上表现出色的模型。

  2. SFT (Supervised Fine-Tuning):监督微调,通过使用标记好的数据集对预训练模型进行进一步训练,使其适应特定任务。

  3. DPO (Direct Preference Optimization):直接偏好优化,一种训练方法,通过直接学习人类偏好来改进模型输出质量。

  4. GGUF (GPT-Generated Unified Format):一种用于存储和分发语言模型的文件格式,旨在提高模型的兼容性和易用性。

  5. Flash Attention:一种优化注意力机制计算的技术,可以显著提高大型语言模型的训练和推理速度。

  6. Tokenizer:分词器,负责将文本分割成更小的单位(称为token),是模型处理文本的第一步。

  7. Context Length:上下文长度,指模型一次能处理的最大token数量,影响模型理解长文本的能力。

  8. Fine-tuning:微调,指在预训练模型的基础上,使用特定任务的数据进行进一步训练的过程。

  9. Instruction Tuning:指令微调,通过给予模型明确的指令来改进其执行特定任务的能力。

参考链接

  • 微软 Phi-3-mini-128k-instruct 模型:
    https://huggingface.co/microsoft/Phi-3-mini-128k-instruct

  • Ollama Phi-3 模型标签:
    https://ollama.com/library/phi3/tags

  • Ollama 快速入门指南:
    https://github.com/microsoft/Phi-3CookBook/blob/main/md/02.QuickStart/Ollama_QuickStart.md

  • Phi-3.1-mini-4k-instruct-GGUF 模型:
    https://huggingface.co/bartowski/Phi-3.1-mini-4k-instruct-GGUF

  • LM Studio 快速入门指南:
    https://github.com/microsoft/Phi-3CookBook/blob/main/md/02.QuickStart/LMStudio_QuickStart.md

  • Microsoft Phi-3 Cookbook:
    https://github.com/microsoft/Phi-3CookBook

  • 环境设置指南:
    https://github.com/microsoft/Phi-3CookBook/blob/main/md/01.Introduce/EnvironmentSetup.md


精选历史文章,请看这里:

多案例 | 深度挖掘Claude 3.5 Sonnet Artifacts的可视化潜力,甄嬛体教你轻松学编程

Groq Whisper API 进阶:使用提示词精准控制转录风格和内容,结合 spaCy 实现精准分句

Google 新推出 AI 辅助工具,Data Science Agent 和 Code Transformation 值得一试

Manim 动画制作不再难:ChatGPT + Graphviz/Mermaid 助你快速上手


继续滑动看下一个
kate人不错
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存