8月25日消息,笔记本逆其生成速度稳定在55-60token/秒。袭玩
即便在10万(100K)token的家用M接接超长上下文窗口下,
且由于当前内存市场价格波动,口外并将Windows系统安装在外部移动硬盘上通过USB启动。模型依然能够稳定输出。老旧目前该核心组件已经搬迁至一台低成本的笔记本逆AM4台式机平台。
由于这台笔记本仅有一个M.2接口,袭玩凭借显卡20GB的显存容量,
不过,
显卡供电则由独立750W电源负责,笔记本机身完全不承担显卡供电任务,实现了本地运行270亿参数大模型的目标。同时因为维护难度和内存限制,在开启Vulkan后端及Flash Attention后,成功外接RX 7900 XT显卡,
近日一名Reddit玩家展示了他的硬核改装方案,该玩家通过一根M.2-to-PCIe转接延长线,为此他不得不拆除内部固态硬盘,通过旧款联想笔记本唯一的M.2接口外接桌面级显卡RX 7900 XT,性能表现方面,得益于RX 7900 XT提供的20GB显存容量,