TF Dev Summit 2020 summary
Vladislav LialinКоторый уже год я встречаю людей, которые рассказывают мне про новую классную фичу через полгода после того, как она была анонсирована на TF dev summit. Давайте не будем этими людьми и разберёмся в основных нововведениях прямо сейчас.
Core
1. Сделали ноый TFRT-рантайм, который просто делает всё быстрее (up to 30%), фича будет доступна "later this year" (перевод: в декабре / в следующем году).
1. MLIR - унифицирует TF на разных платформах и, например, позволяет переводить модельки из обычного TF в TF Lite
TF 2.2
1. 🔥 В TensorBoard добавили profiler. Включается аргументом `profile_batch` в `tf.keras.callbacks.TensorBoard`, выдаёт кучу информации, даёт рекомендации по ускорению модели.
1. 🔥 Можно оверрайдить `Model.train_step` и кастомизировать поведение `Model.fit`
1. Добавили прикольные фичи в tf.distribute, такие как `SyncBatchNormalization`
Tensorboard.dev
Если вы забыли что это такое, tensorboard.dev - это возможность загрузить ваши логи TB в веб. Добавили пару фишек, но всё ещё безумно отстают от того же Wandb.ai. Примеры: tensorboard vs wandb.
Education
1. 🔥 Обновили Machine Learning Crush Course. Есть квизы и забавные упражнения с вот такой штукой (визуализатор тренировки), а также лекции по тому, как всё это применять в реальной жизни. Курс очень классный, до тех пор пока не начинаются нейросетки. Код первой задачки по нейросеткам просто ад сатаны. Но всё, что до них (да и после) прямо отличное.
1. Рассказали про то, как юзать колаб. Никаких откровений, но новичкам может быть полезно.
1. Запустили программу TensorFlow Developer Certificate. Заплати $100 за то, что гугл даст тебе бумажку, подтверждающую, что ты можешь написать CNN для условного MNIST и RNN для условного IMDB. Ну такое.
TF for Research
1. 🔥 Добавили компиляцию для `tf.function`. Она автоматически фьюзит ваши операции и даёт ускорение вплоть до 50%.
1. `tf.variable_creator_scope` - позволяет создавать кастомные Variable. Выглядит как источник очень непонятного кода.
1. Добавили `tf.vectorized_map` который векторизует ваш map.
1. Обновили `tf.ragged` - тензоры с поддержкой элементов различной длины. Хотя возможно не обновили, а просто прорекламиировали лишний раз, потому что мало кто знает про эту довольно крутую фичу. Последняя фраза "please, use tf.ragged" намекает.
TF for production
1. Продолжают развивать tf.hub - коллекцию моделек, доступных в одну строчку кода
1. Продолжают развивать TFX. Если в чате кто-то может перевести что это такое с маркетингово языка на человеческий, буду рад.
1. Рассказали про Model Maker - "lets developers fine-tune pre-existing models without doing complicated ML"(c)
TF Dev Summit - позволяет посмотреть на TF как в перспрективе этого года, так и в ретроспективе предыдущего. Если вы используете TF, то вполне можете найти интересные выступления на tensorflow.org/dev-summit
Credit:
https://blog.tensorflow.org/2020/03/recap-of-2020-tensorflow-dev-summit.html
https://twitter.com/huggingface/status/1238165402573836294
https://www.analyticsvidhya.com/blog/2020/03/highlights-tensorflow-dev-summit-2020/