¿Por qué la gente se vuelve adicta a TikTok? El algoritmo de IA que te atrapó

Tick ​​Tok está conquistando el mundo. Según Sensor Tower, esta aplicación de video breve se ha descargado más de 2 mil millones de veces desde App Store y Google Play. ¿Cuál es la magia detrás de esta aplicación sensacional que vuelve a los usuarios tan adictos? No es sorprendente que la respuesta se encuentre en el motor de recomendaciones basado en ML.

Contenido

1. Introducción al motor de recomendaciones de TikTok.
2. Modelo del sistema de recomendación de TikTok (datos, características, puntos de referencia, algoritmos y mecanismos de aprendizaje).
3. Flujo de trabajo de recomendación de TikTok (implementación en tiempo real, lectura obligatoria ).

Así que seamos honestos. ¿A quién no le gustan las payasadas de perros y los videos graciosos de gatos? Esto fue especialmente (y en algún lugar todavía) relevante durante el período de autoaislamiento global. 

Pero eso solo explica en parte la historia de éxito sin precedentes de TikTok. En menos de 2 años, este servicio ha pasado de ser una aplicación de "sincronización de labios a audio" con una pequeña base de seguidores a una aplicación viral con aproximadamente 800 millones de usuarios activos mensuales en 2021 y sigue en el 2022. En total, los videos de TikTok con la etiqueta #coronavirus se han visto 53 mil millones de veces.

Esta aplicación es bien conocida por sus canciones virales y divertidos memes en video.

Por lo general, las personas pasan alrededor de 52 minutos al día en TikTok, lo que se compara con 26/29/37 minutos para Snapchat/Instagram/Facebook, respectivamente.

Además de la estrategia de desarrollo a escala, esta aplicación de creación de videos de 60 segundos está llena de memes, comedia, baile y talento. Con uno de los mejores motores de recomendación de la industria, no tiene que saber ni buscar para ver. Con un solo clic, puede obtener una selección personalizada de recomendaciones. 

Este tipo de emociones positivas infinitas lo antes posible evita que abandones TikTok. Algunas personas lo llaman el asesino de tiempo más poderoso que absorbe todo tu tiempo libre y de alguna manera crea la sensación engañosa de que "5 minutos en TikTok equivalen a 1 hora en la vida real".

Hoy, veremos cómo TikTok ha utilizado el aprendizaje automático para analizar los intereses y preferencias de los usuarios en función de sus acciones y, en última instancia, ofrecer una selección personalizada.

El motor de recomendaciones no es nuevo para la comunidad de ciencia de datos. Por el contrario, algunos lo consideran una generación antigua de sistemas de IA debido a la falta de funciones tan interesantes como el reconocimiento de imágenes o la generación de texto.

Sin embargo, las recomendaciones siguen siendo uno de los sistemas de IA dominantes, con la implementación más extensa en casi todos los servicios y plataformas en línea. Por ejemplo, sugerir videos en YouTube, correos electrónicos de Amazon durante campañas o recomendar libros mientras navega por la tienda Kindle.

De hecho, según una investigación publicada por Gomez-Uribe y el jefe de producto de Netflix, Neil Hunt, el efecto combinado de la personalización y las recomendaciones le ahorra a Netflix más de mil millones de dólares al año. Además, el 80% de los suscriptores eligen videos de la lista de sugerencias del motor de recomendación. 

Ahora echemos un vistazo a qué hace exactamente TikTok de manera diferente.

1. Introducción al motor de recomendación

(Si ya está familiarizado con este tema, puede pasar directamente a la siguiente sección).

Hay tantos artículos útiles y cursos en línea sobre motores de recomendación, y no quiero reinventar la rueda.

Además de todos los elementos básicos, un motor de recomendación industrial necesita un backend sólido y un diseño arquitectónico para la integración. A continuación se muestra un ejemplo básico:

Un sistema en tiempo real debe tener una base sólida de datos (para recopilación y almacenamiento) para admitir varias capas abstractas por encima (capa de algoritmo, capa de servicio y capa de aplicación) que resolverán varios problemas comerciales.

2. Estructura de diseño del sistema de recomendación de TikTok

El núcleo del marco sigue siendo el "diseño centrado en el usuario" . En términos simples, TikTok solo recomendará contenido que deberías disfrutar, desde sugerencias tentativas para principiantes hasta recomendaciones explícitas para usuarios intensivos.

Si hace clic en un video de baile, su selección se establecerá inicialmente en la categoría de entretenimiento, luego el motor de seguimiento seguirá su selección para un análisis más detallado, lo que eventualmente conducirá a recomendaciones precisas y personalizadas. 

Flujo de trabajo de alto nivel.

Hay tres bloques de construcción principales en la estructura de TikTok: 

1. Etiquetado de contenido.
2. Creación de perfiles de usuario y escenarios.
3. Entrenamiento y mantenimiento de algoritmos de recomendación.

A continuación, veremos cada uno de estos puntos.

2.1 Datos y características

Primero, los datos. Si tuviéramos que describir formalmente el modelo de recomendación, lo llamaríamos una función que satisface el interés del usuario con la ayuda de contenido generado por otros usuarios. Esta característica requiere la entrada de datos de tres dimensiones.

Datos de contenido  : TikTok es una plataforma con una gran cantidad de contenido generado por los usuarios. Cada tipo de este contenido tiene sus propias características, y el sistema debe ser capaz de reconocerlos y distinguirlos para poder brindar recomendaciones confiables.

Datos de usuario  :  esto incluye etiquetas de intereses, carrera, edad, sexo, datos demográficos, etc. También incluyen signos ocultos de agrupación de usuarios basados ​​en el aprendizaje automático.

Datos del escenario  : estos datos rastrean el escenario de uso y cómo cambian las preferencias del usuario en función de diferentes escenarios. Por ejemplo, qué tipo de video le gusta ver al usuario cuando está en el trabajo, manejando hacia o desde allí o viajando.

Una vez que se recopilan los datos relativos, se derivan cuatro tipos de características de ingeniería críticas y se alimentan al motor de recomendación.

• Las funciones de coincidencia representan la correspondencia entre los atributos de contenido y las etiquetas de usuario, incluidas las palabras clave coincidentes, las fuentes, las etiquetas de tema y clasificación, y las funciones ocultas, como las distancias vectoriales entre el usuario y el contenido.
• Las características del escenario personalizado se derivan de los datos del escenario, incluida la ubicación geográfica, la hora del día, las etiquetas de eventos, etc.
• Las etiquetas de tendencias se basan en la interacción del usuario y representan tendencias globales, temas candentes, temas de tendencias, palabras clave principales, etc.
• Las funciones de colaboración se basan en la técnica de filtrado de grupos. Equilibran la recomendación estrecha (prejuicio) y la colaboración (generalización). Más precisamente, aquí no solo se tendrá en cuenta el historial de un usuario, sino también el análisis del comportamiento colectivo de un grupo similar de usuarios (clics, intereses, palabras clave, temas).

El modelo predecirá si el contenido es apropiado para el usuario en el escenario en función de las características descritas anteriormente.

2.2 Hitos intangibles

En el modelo de recomendación, la tasa de clics, el tiempo de lectura, los me gusta, los comentarios y las acciones son puntos de referencia cuantitativos. Puede usar un modelo o algoritmos para completarlos y luego hacer una predicción final.

Sin embargo, otros hitos intangibles no pueden ser calculados por estos indicadores cuantificables.

Por ejemplo, para mantener una comunidad y un ecosistema saludables, TikTok tiene como objetivo suprimir el contenido que contenga violencia, estafas, pornografía, flatulencia y contenido de alta calidad con muchos datos, como noticias.

Para lograr este objetivo, el marco de control fronterizo debe definirse más allá de los puntos de referencia cuantificables del modelo. (Sistema de auditoría de contenidos).

2.3 Algoritmos

Las pautas de recomendación se pueden formular en un problema clásico de aprendizaje automático. Luego, este problema se puede resolver con algoritmos que incluyen el modelo de filtrado colaborativo , el modelo de regresión logística, las máquinas de factorización , GBD y el aprendizaje profundo.

n sistema de recomendación de grado industrial requiere una plataforma ML flexible y extensible en la que construir una canalización experimental para entrenar rápidamente diferentes modelos. Y luego ensámblelos para usarlos en tiempo real (por ejemplo, combine LR y DNN, SVM con CNN).

Además del algoritmo de recomendación principal, TikTok necesita entrenar un algoritmo de clasificación de contenido y un algoritmo de procesamiento de perfil de usuario. La arquitectura de clasificación jerárquica para el análisis de contenido se muestra a continuación.

Bajar de raíz. Las siguientes capas representan la categoría principal (categoría principal) y la subcategoría (subcategoría). En comparación con un clasificador separado, el uso de un mecanismo de clasificación jerárquica puede resolver mejor el problema de la asimetría de datos.

2.4 Mecanismo de aprendizaje

TikTok utiliza un protocolo de aprendizaje en línea en tiempo real que requiere menos poder de cómputo y brinda retroalimentación rápida. Esto es importante para los productos con transmisión de datos, incluida la información. 

El comportamiento y las acciones del usuario se pueden capturar instantáneamente y luego enviarse al modelo para ver el efecto en la próxima colección (por ejemplo, cuando hace clic en un nuevo video, su colección cambia rápidamente según las acciones recientes).

Lo más probable es que TikTok use Strom Cluster para procesar muestras de datos en tiempo real que incluyen clics, impresiones, colecciones, me gusta, comentarios y recomendaciones.

También crean su propio sistema de alto rendimiento en forma de servidor de parámetros y características del modelo (feature store y model store). La tienda de funciones puede almacenar y mantener diez millones de funciones originales y vectores diseñados. Y la tienda de modelos mantendrá y hará cumplir los modelos y las configuraciones personalizadas.

Todo el proceso de aprendizaje se ve así:

1. El servidor en línea captura los datos en tiempo real y luego los almacena en Kafka.
2. El clúster de Storm recibe características de productos y datos de Kafka.
3. La tienda de funciones recopila nuevas funciones y etiquetas de recomendación para crear un nuevo conjunto de entrenamiento. 
4. La canalización de entrenamiento en línea vuelve a entrenar los parámetros del modelo almacenándolos en el almacén de modelos. 
5. La lista de recomendaciones de clientes se actualiza, se capturan nuevos comentarios (acciones del usuario) y el ciclo se repite.

3. Flujo de trabajo de recomendación de TikTok

TikTok nunca revela su algoritmo clave al público ni a la comunidad tecnológica. Pero basándome en información fragmentada publicada a través de la empresa, así como en los rastros encontrados por entusiastas que utilizan técnicas de ingeniería inversa, he llegado a la siguiente conclusión.

(El descargo de responsabilidad es mi interpretación y extrapolación personal y puede diferir de lo que realmente hace TikTok).

Paso 0: Sistema de auditoría de contenido de usuario dual (UGC)

TikTok tiene millones de contenido subido diariamente por los usuarios. Sería más fácil para los materiales maliciosos encontrar lagunas en un sistema solo para máquinas, y la verificación manual simplemente no es realista en este caso. Por ello, el algoritmo de doble revisión se ha convertido en el principal en TikTok para evaluar contenidos de vídeo.

Revisión automática: Esencialmente, un modelo de auditoría dual (basado en visión por computadora) puede reconocer sus imágenes de video y palabras clave. Tiene dos funciones principales: 

1. Detecta interrupciones en los clips y comprueba los derechos de autor. Si se sospecha de una infracción, el modelo rechazará el contenido y lo marcará en amarillo o rojo para que lo vean las personas. 
2. Al extraer imágenes y fotogramas clave del video, el algoritmo de auditoría doble los compara con la base de contenido masivo del archivo. Se seleccionan repetidos, para ellos se subestima el tráfico inicial y el peso en el motor de recomendación.

Una revisión humana se centra principalmente en 3 áreas: el título del video, la miniatura de la portada y los fotogramas clave del video. Los técnicos revisan personalmente el contenido etiquetado como "sospechoso" en el modelo de auditoría dual. Si se determina que el material infringe las reglas, se eliminará el video y se suspenderá la cuenta.

Paso 1: arranque en frío

El corazón del motor de recomendaciones de TikTok es el embudo de flujo de información . Cuando el contenido pasa una auditoría doble, se coloca en el grupo de tráfico de inicio en frío. Por ejemplo, después de revisar su nuevo video, TikTok le asignará un tráfico inicial de 200-300 usuarios activos, desde donde puede obtener hasta varios miles de impresiones.

En este mecanismo, el nuevo creador puede competir con los favoritos de la multitud (personas con decenas de miles de seguidores) ya que ambos tienen el mismo punto de partida. 

Paso 2: Ponderación basada en métricas

Mientras se encuentra en el grupo de tráfico inicial, un video puede recibir miles de vistas y estos datos se recopilarán y analizarán. Las métricas consideradas en este análisis incluyen: me gusta, vistas, vistas totales, comentarios, seguidores, compartidos, compartidos en la red, etc.

Luego, el motor de recomendaciones evaluará su contenido según estas métricas, así como el puntaje general de su cuenta (que muestra su nivel de calidad como creador).

Según esta ponderación, el 10 % superior del contenido recibirá entre 10 000 y 100 000 impresiones adicionales cada uno.

Paso 3: Refuerzo de perfil de usuario

También se analizarán los comentarios del paso 2 a continuación para decidir si usar el amplificador de perfil personalizado. En este paso, se mejorará y enfatizará el contenido destacado para un grupo específico (por ejemplo, fanáticos de los deportes, fanáticos de la moda, etc.).

Esto es similar al principio de la función "adivina lo que te gusta". El motor de recomendación creará una base de datos de perfiles de usuario para poder encontrar la mejor coincidencia entre el contenido y el grupo de usuarios.

Paso 4: Conjunto de tendencias exclusivas

Menos del 1% del contenido terminará en el grupo de tendencias. La cantidad de impresiones de contenido en este grupo puede ser muchas veces mayor que en otros grupos. Porque Se recomendará contenido de tendencia a todos los usuarios indiscriminadamente (independientemente de quién seas, te puede interesar ver videos con la actualidad mundial).

Paso único: encendido tardío

Algunos usuarios de TikTok notan que su contenido de repente se vuelve muy popular después de semanas de publicar con una respuesta promedio. 

Esto es posible por dos razones:

• Primero, TikTok tiene un algoritmo llamado "sepulturero" que analiza el contenido antiguo y busca candidatos de alta calidad para mostrar. Si su contenido fue seleccionado por este algoritmo, entonces es una señal de que su cuenta tiene suficientes videos verticales para obtener una etiqueta clara. Esta etiqueta aumentará la visibilidad de su contenido en Gravedigger. 
• En segundo lugar, es posible un "efecto de tendencia". Esto significa que si uno de sus contenidos obtiene millones de visitas, atraerá tráfico a su página de inicio y, por lo tanto, aumentará las vistas de contenido más antiguo. Esto sucede a menudo con los creadores de verticales (por ejemplo, el creador de videos divertidos de gatos). Un video popular activa todos los demás contenidos de alta calidad (la gente quiere ver otro contenido con tus lindos gatos).

Limitación: picos de tráfico

Si una nube de contenido pasa por el embudo de flujo de información (auditorías dobles, iteraciones de ponderación y refuerzos), la cuenta del creador obtiene una mayor exposición, interacción con los usuarios y los fans.

Sin embargo, según la investigación, esta ventana de sobreexposición es bastante pequeña. Por lo general, se mantiene durante aproximadamente una semana. Después de este período de tiempo, el contenido y la cuenta se enfrían e incluso es poco probable que los videos posteriores se vuelvan populares. 

¿Por qué?

La razón principal es que TikTok se esfuerza por introducir diversidad en este algoritmo y eliminar el sesgo no deseado. Con este diseño, el motor de recomendación no estará predispuesto a un tipo particular de contenido, lo que garantiza que el nuevo contenido tenga las mismas oportunidades de ingresar al grupo de tendencias.