GPT, es machine learning basado en Redes Neuronales. El Transformer se puede entrenar en paralelo y aprovechar las GPU. Utiliza un mecanismo de atención, investigación publicada en 2017. Los modelos anteriores no podían memorizar textos largos ni correr en paralelo. GPT-3, lanzado en 2020, tiene 175.000 millones de parámetros. Entrenado con textos de internet de 500.000 millones de tokens. La generación de textos, puede alcanzar un nivel literario que pasa inadvertido por los humanos, el modelo es capaz de mantener la coherencia en textos largos y debido a su gran conocimiento del mundo, crear un contexto y párrafos muy reales. Logra realizar tareas “inesperadas” de manera correcta, sin haber sido entrenado para ello...
