谷歌发布了MediaPipe LLM Inference API，该API使开发人员能够更轻松地在手机、PC等设备上本地运行AI大型模型。谷歌对跨设备堆栈进行了重点优化，包括新的操作、量化、缓存和权重共享。目前，MediaPipe已经支持了四种模型：Gemma、Phi 2、Falcon和Stable LM，这些模型可以在网页、安卓和iOS设备上运行。谷歌计划将这一功能扩展到更多平台上。
demo地址：
https://github.com/googlesamples/mediapipe/tree/main/examples/llm_inference