Qué necesita tu máquina

Las tablas de requisitos se vencen en meses. El razonamiento no.

1. El tamaño: cuánta memoria pide

Un archivo en formato Q4 pesa unos 0,6 GB por cada mil millones de parámetros. Un modelo de 9 mil millones ronda los 5,4 GB (el real pesa 5,68 GB); uno de 20 mil millones, unos 12 GB.

Después hay que sumar la conversación: cada palabra que el modelo tiene a la vista ocupa memoria. Para un modelo de 8 mil millones se estima cerca de 1 GB con 8 mil tokens de contexto, y mucho más con contextos largos.

Regla práctica y aproximada: a la memoria total restale unos 6 GB para el sistema. En equipos de 8 GB va justo: cerrá otras aplicaciones.

2. La velocidad: ancho de banda

Escribir rápido depende de cuántos datos por segundo mueve la memoria, dividido por el tamaño del modelo. No es un problema de procesador rápido. Por eso un Mac con memoria de alto ancho de banda genera mucho más rápido que uno básico.

3. El acantilado de la lectura

Leer tu documento depende del poder de cálculo, no del ancho de banda. Una notebook sin placa de video puede escribir a buen ritmo y aun así tardar minutos en empezar a responder si le pegás un PDF de 20 páginas.

Cómo chequear el tuyo

Mirá la memoria (RAM) de tu equipo, restale 6 GB y comparala con el tamaño de descarga del modelo.