Búsqueda · 33 momentos en 19 episodios
Francis VillatoroBorja TosarJuan Carlos GilGastón GiribetIgnacio Crespodestilado con chatgpt y llamaredes neuronales entrenadas clotentrenamiento acelerado con modelos grandestecnología barata para redes neuronalesChatGPTCLOTLLaMAFrancis VillatoroIgnacioSoftmaxNVIDIAChinaTrump
Destilado con ChatGPT y Llama
Ep577: Planeta Enano; Errores en IAs; Romper Agujeros Negros; Habitabilidad Química; Virus y Monos
29 de octubre de 20263 momentos
Con
0:000:301:001:302:002:303:03
Francis Villatoro explica cómo se utiliza la técnica de destilado en el entrenamiento de redes neuronales, aprovechando las respuestas de modelos grandes como ChatGPT o LLaMA.
…¿no? O sea, pero tienen que usar una tecnología un poquito por detrás, una tontería de los Estados Unidos; de hecho ya hay empresas fabricando sus propias GPUs para entrenamiento en China con tecnología que no es de envidia. Pero bueno, en cualquier caso, En ese proceso se utiliza una técnica que se llama destilado; y en el destilado lo que yo hago es que una red neuronal ya entrenada, un gran modelo de lenguaje ya entrenado ChatGPT, CLOT, las grandes empresas, Lama, ya entrenado, me dé la respuesta buena a las preguntas. Entonces yo en la fase de entrenamiento no tengo que, puedo acelerar, digámoslo así, el entrenamiento buscando que las respuestas de mi red, que me cuesta más trabajo entrenar porque tengo una tecnología un poquito más barata para hacerlo, coincida con la que da el modelo grande. Entonces, lo que hacen los chinos, que se supone que lo han hecho y es una cosa que no pueden confesar de verdad, pero bueno, que lo dicen así en plan rumulología, es que supuestamente miles de usuarios chinos están usando la tecnología de Estados Unidos,…
Significado #1 · Palabras #1
Francis Villatoro explica la relevancia de la cancelación de Softmax en los procesos de destilado, mencionando cómo empresas chinas, restringidas por las leyes de Trump y la prohibición de venta de tecnología NVIDIA avanzada, están encontrando soluciones alternativas.
Habla: Francis VillatoroPalabras #9softwares chinas y leyes trumpdestilado con cancelación softmaxnvidia prohíbe tecnología china…de aprender y desaprendía. Y entonces subía la entropía cruzada y después volvía a bajar porque volvía y tenía un comportamiento oscilatorio. Entonces se ha observado el otro fenómeno que era el colapso de Softmax y también la cancelación de Softmax. La Cancelación de Softmax es relevante en los procesos de destilado. Todos hemos oído hablar de las compañías chinas que se supone que con recursos limitados por la ley de Trump de que les prohíbe a NVIDIA venderles la última máquina, la última tarjeta, la más avanzada. No se puede vender en China, solo se puede vender. la segunda más avanzada, que es súper avanzada y que vale un dineral. Las empresas chinas, en lugar de poderse gastar 5.000 millones de dólares en máquinas, se tienen que gastar 1 .000 millones de dólares. No estamos hablando de pecata a minuta. A veces se…
Francis Villatoro explica cómo se utiliza la técnica de destilado en el entrenamiento de redes neuronales, aprovechando las respuestas de modelos grandes como ChatGPT o LLaMA.
Habla: Francis VillatoroSignificado #1 · Palabras #1destilado con chatgpt y llamaredes neuronales entrenadas clotentrenamiento acelerado con modelos grandestecnología barata para redes neuronales…¿no? O sea, pero tienen que usar una tecnología un poquito por detrás, una tontería de los Estados Unidos; de hecho ya hay empresas fabricando sus propias GPUs para entrenamiento en China con tecnología que no es de envidia. Pero bueno, en cualquier caso, En ese proceso se utiliza una técnica que se llama destilado; y en el destilado lo que yo hago es que una red neuronal ya entrenada, un gran modelo de lenguaje ya entrenado ChatGPT, CLOT, las grandes empresas, Lama, ya entrenado, me dé la respuesta buena a las preguntas. Entonces yo en la fase de entrenamiento no tengo que, puedo acelerar, digámoslo así, el entrenamiento buscando que las respuestas de mi red, que me cuesta más trabajo entrenar porque tengo una tecnología un poquito más barata para hacerlo, coincida con la que da el modelo grande. Entonces, lo que hacen los chinos, que se supone que lo han hecho y es una cosa que no pueden confesar de verdad, pero bueno, que lo dicen así en plan rumulología, es que supuestamente miles de usuarios chinos están usando la tecnología de Estados Unidos,…
Francis Villatoro explica un proceso de entrenamiento llamado 'entrenamiento por destilado', donde una red neuronal actúa como 'estudiante' y otra más grande como 'profesor'. Describe que el objetivo es comparar las probabilidades de respuesta entre ambas redes.
Habla: Francis VillatoroPalabras #4entrenamiento por destilado red neuronalred estudiante compara probabilidades profesorprobabilidades de respuesta en entrenamiento destiladosoft mass cancellation destiladoestimación de probabilidades soft masssolución similar en destilado…por el gusto personal de tener ellos en su cuenta Entonces le están preguntando cosas a estas inteligencias artificiales con objeto de comparar esas respuestas con las respuestas que dan sus propias redes neuronales durante la fase de entrenamiento Entonces Se llama un entrenamiento por destilado, un entrenamiento profesor-alumno. Entonces aquí tenemos el mismo problema que antes, lo que pasa es que ahora estamos comparando la probabilidad a las respuestas que ofrece el profesor con la probabilidad que durante el entrenamiento por destilado ofrece el estudiante. Entonces, cuando ambas probabilidades se acercan a uno, me encuentro. Con la diferencia cancelativa. Entonces, lo llaman soft mass cancellation. Es la cancelación de la estimación de probabilidades basada en soft mass en el caso de destilado. Y aquí la solución es prácticamente la misma que se obtiene en el otro caso. Entonces, estos son los dos ejemplos en los que ellos han puesto diferentes redes relativamente pequeñas y claro, aquí la gran pregunta es lo que comentaba Ignacio, ¿no? Lo que se ha comentado mucho en redes sociales: ¿Esto realmente nos preocupa? Porque, la verdad, lo que le pase a los estudiantes de mi clase cuando yo les obligue a entrenar redes neuronales relativamente pequeñas, pues le importa un comino a todos nuestros…