Google представила библиотеку Tensorflow-Lite

Tensorflow-Lite - новая библиотека от Google, для запуска обученых моделей Tensorflow прямо на мобильных девайсах.

Впервые библиотека была представлена на Google IO 2017 этой весной. Запуск моделей нейронных сетей на мобильных платформах был возможен и до этого с помощью библиотеки Tensorflow-Mobile, но на презентации Google выдвинули следующие тезисы:

• Легковесность - итоговые модели занимают мало места на мобильном устройстве
• Кроссплатформенность - простой запуск одних и тех же моделей на IOS и Android устройствах.
• Скорость - библиотека оптимизирована для мобильных устройств и способна использовать как CPU так и аппаратное ускорение для работы.

Архитектура

Для работы вашей tf-модели, вам необходимо воспользоваться специальным ковертером моделей в формат .tflite, после чего вы сможете загрузить эту модель на устройстве с помощью Tensorflow-Lite.

Для работы на Андроид вы можете использовать как JDK (Java), так и NDK (C++), которые работают с интепретатором модели.

Новый интепретатор потребляет всего 300кб памяти в отличие от Tensorflow-Mobile, который потреблял 1.5мб.

Итог

Google рекомендует использовать именно Tensorflow-Lite для мобильных решений машинного обучения. Tensorflow-Mobile останется для поддержки старых приложений.

Прочитать подробнее вы можете прочитать на на официальной странице.