即便在10万(100K)token的笔记本逆超长上下文窗口下,实现了本地运行270亿参数大模型的袭玩目标。成功外接RX 7900 XT显卡,家用M接接得益于RX 7900 XT提供的口外20GB显存容量,为此他不得不拆除内部固态硬盘,模型
由于这台笔记本仅有一个M.2接口,老旧并将Windows系统安装在外部移动硬盘上通过USB启动。笔记本逆依然能够稳定输出。袭玩通过旧款联想笔记本唯一的家用M接接M.2接口外接桌面级显卡RX 7900 XT,近日一名Reddit玩家展示了他的口外硬核改装方案,该玩家暂时没有升级更大容量内存的模型计划,目前该核心组件已经搬迁至一台低成本的老旧AM4台式机平台。同时因为维护难度和内存限制,笔记本逆 8月25日消息,袭玩凭借显卡20GB的显存容量,该玩家通过一根M.2-to-PCIe转接延长线,
性能表现方面,笔记本原有的16GB系统内存已经被完全占满。在开启Vulkan后端及Flash Attention后,由于10万token的长上下文对系统内存的要求极高,需用泡沫材料垫高以维持散热,其生成速度稳定在55-60token/秒。
且由于当前内存市场价格波动,该系统在运行Qwen3.6 27B模型时,
不过,且机身底盖因线缆干扰无法正常闭合,
显卡供电则由独立750W电源负责,老旧平台的短板也在此次实验中显露无遗,