清华团队开源大模型推理引擎“赤兔Chitu”

据36氪，3月14日，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”，该引擎首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，为国产AI芯片的广泛应用和生态建设带来了新的突破。清程极智CEO汤雄超表示，当前国内在推理引擎这一核心环节，仍缺乏生产级开源产品。开源‘赤兔’引擎是助力国内AI生态建设的重要一步。