Cómo ejecutar fácilmente sus modelos de IA locales favoritos en Linux con esta práctica aplicación

Publicado el:

spot_img
- Advertisment -spot_img

He estado usando AI como una de mis herramientas de investigación para la investigación desde hace algún tiempo. Aunque hay muchas opciones a las que se puede acceder a través de un navegador web (como ARIA de Opera, el primer servicio de IA que usé), prefiero las herramientas de escritorio porque puedo instalar y usar LLM locales, por lo que todas mis consultas siguen siendo privadas. Con una herramienta de escritorio, puedo cambiar fácilmente entre LLM locales como Llama, Deepseek R1, Mistral Instruct, Orca, GPT4All Falcon y más.

Hasta ahora, mi GUI Linux AI predeterminada había sido MSTY, pero he encontrado una nueva aplicación que es igual de buena. Esa aplicación está GPT4All, disponible para Linux, MacOS y Windows.

- Advertisement -[wpcode id="699"]

GPT4All se puede usar para consultas estándar, como asistente de escritura personal, para escribir código y más. También tiene una interfaz de usuario fantástica que es fácil de usar y encajará directamente con la apariencia de su escritorio.

Un aspecto de GPT4All que aprecio es la capacidad de elegir el dispositivo de cálculo para la generación de texto. Por ejemplo, mi sistema76 Thelio tiene una GPU AMD Radeon RX 7600. GPT4All detecta esa GPU y me permite usar Vulkan: AMD Radeon RX 7600 (RADV Navi33) o Vulkan: AMD Radeon RX 7600 (RADV Raphael_mendocino).

También puedo seleccionar mi modelo predeterminado, cambiar el modo de sugerencia (para generar preguntas de seguimiento), configurar el número de subprocesos de CPU, habilitar una aplicación de bandeja del sistema y mucho más. Puedo habilitar un servidor API local para que se pueda acceder a GPT4All a través de http: // localhost: 4891. La desventaja de usarlo en modo servidor es que consume más recursos del sistema.

Leer  NVIDIA debuts Llama Nemotron Open Raileling Models en un intento por avanzar en la AI de agente

Instalemos GPT4All en Linux, para que pueda mostrarle qué es lo que es.

- Advertisement -[wpcode id="699"]

Instalación de GPT4All en distribuciones basadas en Ubuntu

Lo que necesitarás: Actualmente, las únicas distribuciones de Linux compatibles son las basadas en Ubuntu, por lo que necesitará una instancia en ejecución de una distribución basada en Ubuntu. ¡Demostraré esto en el pop! _Os Linux.

Lo primero que debe hacer es descargar el archivo del instalador. Apunte su navegador a la descarga del instalador de Ubuntu y, cuando se le solicite, guarde el archivo gpt4all-installer-linux.run en ~/descargas.

Mostrar más

Abra su aplicación de ventana de terminal predeterminada y cambie en el directorio de descargas con el comando CD ~/Descargas. Una vez allí, otorgue al instalador permisos ejecutables con el comando:

Mostrar más

chmod u+x gpt4all-installer-linux.run

Ahora puede ejecutar el instalador con el comando:

Mostrar más

./gpt4all-installer-linux.run

- Advertisement -[wpcode id="699"]

Tenga en cuenta que no necesita usar sudo para la instalación. Si intenta instalar GPT4All con sudo, se equivocará. Cuando se abra el asistente de instalación, haga clic en los pasos para completar la instalación.

La instalación debe completarse sin problemas.

Usando GPT4All

Cuando abra GPT4All por primera vez, deberá optar por el análisis de uso anónimo y el intercambio anónimo de chats. Te recomendaría optar por no participar. Una vez que haya hecho eso, se encontrará en la ventana GPT4All principal, donde necesitará instalar un modelo local.

Para instalar su primer modelo, haga clic en Modelos y luego haga clic en Agregar modelo. En la ventana resultante, desplácese hacia abajo y localice el modelo que desee, como Llama 3.2 3B instruct. Cuando lo encuentre, haga clic en Descargar para iniciar el proceso. Recuerde, estos modelos pueden ser bastante grandes (el más pequeño es LLAMA 3.2 3B instrucciones en 1.79 GB).

Leer  Mis fundas de teléfono asequibles favoritas son gratis (incluso para la nueva serie Google Pixel 10)

Una vez que el modelo haya sido descargado e instalado, lo encontrará en la sección de modelos.

Haga clic en el icono de chats en la barra lateral izquierda. Si solo ha instalado un solo modelo, se enumerará en el centro superior. Si ha instalado varios modelos, seleccione el que desea usar de ese menú desplegable.

Escriba su consulta en el campo «Enviar un mensaje» y presione Entrar en su teclado. GPT4All estará ocupado trabajando para responder a su consulta. Si ha habilitado las sugerencias de seguimiento, se enumerarán debajo de la respuesta. Me gustan las sugerencias de seguimiento porque me ayudan a sumergirme en algunos agujeros de conejo seriamente perspicaces (y a veces divertidos). En mi sistema76 Thelio, apenas noté la sobrecarga de cómputo adicional requerida por los seguimientos sugeridos, por lo que vale la pena habilitarlo.

Y eso, mis amigos, es todo lo que hay para instalar GPT4All en Linux, y lo básico para usar esta herramienta útil.

¿Quieres más historias sobre AI? Regístrese para la innovaciónnuestro boletín semanal.

spot_img

Relacionada

Leave a Reply

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

spot_img