稳定币巨头Tether跨界布局AI,智能手机或成本地训练新平台
Tether,作为全球市值最大的稳定币USDT的发行方,已正式揭幕一款全新的AI训练框架。该公司宣称,该框架能够让大型语言模型在消费级硬件上进行微调,甚至包括智能手机和非英伟达(Nvidia)生产的图形处理器(GPU)。
根据周二发布的公告,这一创新系统是其QVAC平台的一部分。它巧妙地运用了微软的BitNet架构和LoRA(Low-Rank Adaptation)技术,显著减少了内存和计算资源的需求。这一突破有望大幅降低开发AI模型的成本,并消除高昂硬件配置的障碍。
该框架支持跨平台训练与推理,兼容包括AMD、Intel、Apple Silicon在内的多种芯片,以及来自高通(Qualcomm)和苹果的移动GPU。Tether工程师团队演示了在智能手机上,仅用不到两小时即可完成拥有高达10亿参数模型的微调,而更小规模的模型则只需数分钟。更令人瞩目的是,该框架还能支持高达130亿参数的模型在移动设备上运行。
基于BitNet这一1比特模型架构,该框架在VRAM(显存)需求方面,相较于同类16比特模型,能够实现高达77.8%的削减。这一惊人效率使得更大规模的模型能够在硬件受限的设备上流畅运行。此外,它还实现了在非英伟达硬件上对1比特模型进行LoRA微调,彻底打破了以往AI训练主要依赖特定GPU的局面。
Tether公司强调,性能的提升同样体现在推理(inference)环节。使用移动GPU运行BitNet模型的速度,比CPU快上数倍。该框架还特别指出了“设备端训练”和“联邦学习”的应用潜力。在联邦学习模式下,模型可以在分布式的设备上进行更新,而无需将数据传输至中心化服务器,这无疑将减少对云基础设施的依赖。