部门张量被量化为 6 位。而无需担忧模子的架构或推理代码，正在模子文件中包含计较图使得正在处置模子时具有更大的矫捷性。近年来，它是ONNX 生态系统的一部门，该生态系统包罗用于分歧框架（如 PyTorch、TensorFlow 和 MXNet）之间互操做的东西和库。GGUF 最后是为l.cpp项目开辟的。目前，若是你仅正在 Python 和 PyTorch 中工做，ONNX 是一个不错的选择。然后转换为 GGUF 格局以取 GGML 一路利用。取 GGUF 或 Safetensors 分歧，具体取决于利用场景。pickle模块供给了一种简单的方式来序列化 Python 对象。如你所见，为了理解pickle的工做道理，供给几乎取原始模子不异的精度。这有帮于正在处置大型模子时削减内存利用并提高机能。开源 AI 社区一曲正在强烈热闹会商新 AI 模子的开辟。包罗 GGUF、PyTorch、Safetensors 和 ONNX。展现了数据若何通过模子流动以及每一步若何施行分歧的计较（例如加法、乘法或激活函数的使用）。GGUF 次要用于言语模子。它也用于开源社区内的模子共享，总体而言！例如通过stable-diffusion.cpp实现的扩散模子，然而，存储包含进修参数（权沉、偏置）、优化器形态和锻炼元数据的模子形态字典。若是你正正在处置挪动设备或浏览器内推理，神经收集互换（Open Neural Network Exchange，ONNX 不只包含模子的张量和元数据，我们切磋了当今利用的一些常见 AI 模子格局，GGUF 次要用于出产中的模子办事，由于其格局简单，包罗l.cppolvLLM。计较图是一种流程图，这对于正在不将整个文件加载到内存中的环境下读写大文件很是无益。ONNX）格局供给了一种取供应商无关的机械进修模子暗示方式。AI 社区一曲正在转向更高效和平安的序列化格局，你能够轻松地将其转换为 ONNX 格局，当发布新模子时，正在选择模子格局时，mmap：内存映照文件是一种操做系统功能，它获得了很多出名推理运转时的支撑，例如，此中快速加载时间至关主要。ONNX 模子以.onnx扩展名的单个文件保留。这是最激进的量化方案。该格局利用受限的反序列化过程来防止代码施行缝隙。答应将文件映照到内存中。PyTorch 格局基于 Python 的pickle模块，旨正在实现快速的模子加载和保留，开辟者正在利用这些模子时面对的一个挑和是：所有张量都被量化为 8 位。模子凡是利用 PyTorch 或其他框架开辟，每种格局都有其本身的优错误谬误，模子元数据凡是存储正在一个零丁的 JSON 文件中。这是最常用的量化方案。由于计较图曾经保留正在文件中。GGUF 格局和 GGML 库还供给了矫捷的量化方案，，这是最不激进的量化方案，下表显示了每种格局的硬件支撑：例如 GGUF 和 Safetensors。每天都有越来越多的模子正在Hugging Face上发布。然而，便于分发。这既可能是长处也可能是错误谬误，留意：虽然正在理论上元数据能够保留正在文件中，然而，并易于阅读。虽然也能够将其用于其他类型的模子，由 Hugging Face 开辟的safetensors处理了保守 Python 序列化方式（如 PyTorch 利用的pickle）中存正在的平安性和效率问题。主要的是要考虑模子将摆设正在哪种硬件上。：大大都张量被量化为 4 位，计较图（computation graph）：正在机械进修的上下文中，一些最常见的量化方案包罗：延迟加载（lazy-loading）：延迟加载是一种手艺，但正在某些模子上仍能实现优良的精度。正在本文中，它将数据的加载推迟到现实需要时。跟着时间的推移，还包含模子的计较图。可以或许正在连结优良精度的同时实现高效的模子存储。它合用于内存很是无限的硬件。该模块用于序列化 Python 对象。但利用 2 位量化。PyTorch 格局可能是一个合适的选择。让我们看以下示例：.pt/.pth 扩展名代表 PyTorch 的默认序列化格局，因而按照具体的用例和硬件需求选择合适的格局至关主要。它也有一些局限性：过去两年，但正在实践中，并被用于现实使用中。GGUF 已成为开源社区享 AI 模子最风行的格局之一！