Cómo instalar y ejecutar LLM localmente en un teléfono Android

Ejecutar modelos de lenguaje grandes (LLM) localmente en su teléfono Android significa que puede acceder a esos modelos de IA sin depender de servidores en la nube o una conexión a Internet . Esta configuración local garantiza la privacidad manteniendo sus datos seguros y en el dispositivo. Con los avances en hardware móvil, ejecutar modelos de IA localmente se ha convertido en una realidad. La aplicación MLC Chat te permite experimentar fácilmente esta poderosa tecnología directamente en tu teléfono.

Este artículo explicará la importancia de ejecutar LLM localmente en teléfonos Android y proporcionará instrucciones paso a paso para instalarlos y ejecutarlos utilizando la aplicación MLC Chat.

¿Por qué ejecutar LLM en un teléfono Android?

Los LLM generalmente se ejecutan en servidores en la nube, ya que requieren una importante potencia informática. Si bien los teléfonos Android tienen ciertas limitaciones al ejecutar LLM, también abren algunas posibilidades interesantes.

• Privacidad mejorada : dado que todos los cálculos se realizan en su teléfono, sus datos permanecen locales, lo cual es importante para cualquier información confidencial que comparta.
• Acceso sin conexión : no se requiere una conexión a Internet permanente para acceder o interactuar con estos modelos. Esto es especialmente útil para usuarios en áreas remotas o aquellos con conectividad a Internet limitada.
• Rentable : ejecutar LLM en servidores en la nube implica costos operativos como almacenamiento en la nube y capacidad de procesamiento. Este método proporciona una solución rentable para los usuarios.

Guía paso a paso para instalar y ejecutar MLC Chat en Android

La aplicación MLC Chat está diseñada para permitir a los usuarios ejecutar e interactuar con modelos de lenguaje grandes (LLM) localmente en una variedad de dispositivos, incluidos teléfonos móviles, sin depender de servicios basados ​​en la nube. Siga los pasos a continuación para ejecutar LLM localmente en su dispositivo Android.

Paso 1: Instalar la aplicación MLC Chat

Primero, debes descargar el APK de la aplicación MLC Chat (112 MB) desde el siguiente enlace.

Archivo APK de la aplicación MLC Chat

Una vez descargado el APK, toque el archivo para iniciar la instalación.

Paso 2: Descargar LLM

Después de instalar exitosamente la aplicación, ábrala y verá una lista de LLM disponibles para descargar. Están disponibles modelos de diferentes tamaños y capacidades, como el LLama-3.2, Phi-3.5 y Mistral. Seleccione el modelo según sus necesidades y haga clic en el icono de descarga que se encuentra al lado para comenzar la descarga. Por ejemplo, si estás usando un teléfono de gama media como Redmi Note 10, elige un modelo liviano como Qwen-2.5 para un rendimiento más fluido.

Paso 3: Ejecute el LLM instalado

Una vez descargado el modelo, aparecerá un icono de chat junto a él. Haga clic en el icono para comenzar a modelar.

Una vez que el modelo esté listo, puedes comenzar a escribir indicaciones e interactuar con el LLM local.

Por ejemplo, en un dispositivo como el Redmi Note 10, ejecutar un modelo más pequeño como Qwen2.5 proporciona una experiencia bastante fluida, generando alrededor de 1,4 tokens por segundo. Si bien este rendimiento es más lento que el de dispositivos de gama alta como el Galaxy S23 Ultra , aún funciona bien para tareas básicas como chats breves y creación de contenido simple.

Ejecutar LLM localmente en dispositivos Android a través de la aplicación MLC Chat proporciona una forma accesible y protegida de la privacidad de interactuar con modelos de IA. El rendimiento depende en gran medida del hardware del teléfono. Esta solución es ideal para usuarios que necesitan acceso sin conexión a modelos de IA, prueban LLM en tiempo real o están preocupados por la privacidad. A medida que el hardware móvil continúa mejorando, las capacidades del LLM local solo se expandirán, lo que convierte a esta en una frontera emocionante para la tecnología de IA.