microTVM:裸机上的 TVM
microTVM 在裸机(即物联网)设备上运行 TVM 模型。microTVM 只依赖于 C 标准库,不需要操作系统来执行。 microTVM 目前正在全力开发中。
microTVM 是:
- TVM 编译器的扩展,允许 TVM 以微控制器为目标
- 一种在设备上运行 TVM RPC 服务器的方法,允许自动调优
- 最小 C runtime,支持裸机设备上的独立模型推理。
支持的硬件
microTVM 目前测试支持 Zephyr RTOS 的 Cortex-M 微控制器;不过,它灵活,且可移植到 RISC-V 等其他处理器,也无需 Zephyr。当前的 demo 针对 QEMU 和以下硬件运行:
microTVM 入门
在使用 microTVM 之前,推荐使用支持的开发板。然后,按照 这些教程开始使用 microTVM:
- 尝试使用microTVM CLI 工具。
- 尝试使用 microTVM TFLite 教程。
- 尝试运行更复杂的教程 使用 microTVM 创建你的 MLPerfTiny 提交。
microTVM 的工作原理
可以在 microTVM 设计文档 中阅读有关这些部件设计的更多信息。
帮助及讨论
推荐访问 TVM 论坛,查看历史帖子并探讨 microTVM 的相关问题。