He probado los nuevos modelos de OpenAI. Ha sido una pequeña odisea con premio: tengo un ChatGPT en local

gpt-oss-20b requiere 16 GB memoria gráfica

tecnologia Un Mac mini M4 con una ventana de terminal abierta, ejecutando el modelo gpt-oss-20b de OpenAI en local.

OpenAI ha lanzado modelos de IA abiertos que pueden ejecutarse en local. El modelo gpt-oss-20b, con 20.000 millones de parámetros, requiere al menos 16 GB de memoria gráfica. El autor probó este modelo en un Mac mini M4 con 16 GB de memoria unificada, pero inicialmente experimentó problemas de lentitud y consumo de recursos.

Después de ajustar configuraciones y utilizar LM Studio, logró ejecutar el modelo de manera eficiente. La clave está en la cantidad de memoria gráfica disponible y su ancho de banda. Los chips de Apple con memoria unificada ofrecen ventajas en este sentido. El modelo gpt-oss-120b, con 120.000 millones de parámetros, requiere al menos 80 GB de memoria gráfica.

La ejecución de modelos de IA en local ofrece beneficios en términos de privacidad y costes. Sam Altman afirmó que el modelo superior puede ejecutarse en un portátil de alta gama, mientras que el más pequeño puede ejecutarse en un móvil.

Crítica:

El contenido cumple parcialmente con las expectativas del título, ya que se centra más en la experiencia del autor al ejecutar el modelo en local que en ofrecer una visión general de los modelos de OpenAI. La calidad informativa es alta, pero podría haberse incluido más contexto sobre las implicaciones de ejecutar modelos de IA en local. El artículo tiene un toque sensacionalista al destacar la sorpresa del autor por el rendimiento del modelo. Faltan detalles técnicos más profundos sobre el funcionamiento interno de los modelos.

Comentarios

¡Sorpresa!
¡Ya eres Premium!

De hecho, aquí todos somos Premium. En NoticiasResumidas.com no existen las cuentas de pago. Disfruta de todas las funcionalidades, gratis, sin registros y para siempre. ¡A resumir se ha dicho!