Búsqueda · 25 momentos en 12 episodios
Luisa AchaerandioIgnacio CrespoJuan Carlos GilJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetconversaciones de matemáticos openaientrenamiento inteligencia artificial openaiproblema ético openaiautomatización entrenamiento openaiOpenAIFrancis VillatoroIgnacio CrespoAnthropicGastón GiribetCodexSwitchemosEstadosIgnacioHéctor SocasOpenAI AstralTristamook MasterRAMChinaTerence TaoBookmasterEulerLevent AlpogéIsaac AsimovEuropa
Problema ético OpenAI
Con
0:000:301:001:302:002:303:003:31
Francis Villatoro explica cómo las inteligencias artificiales de OpenAI almacenaron fragmentos de conversaciones de matemáticos, lo que plantea un problema ético debido a la falta de control en el proceso de entrenamiento.
…una decisión humana de gente que se enteró por un rumor; más humano que escuchar un rumor y cambiar de dirección no hay. Eso es así, hubo ese cambio de dirección, pero lo que coinciden en OpenAI es que ellos no vieron el chat de estos matemáticos; es decir, Lo que ocurrió fue que las inteligencias artificiales que almacenan ciertos chaps y ciertos trozos de chaps, almacenaron trozos de los chaps de estos que se utilizaron en el entrenamiento de la nueva inteligencia artificial y por eso el problema ético es no trivial, porque la reacción que yo quería decir, el problema no es nada trivial porque todo está muy automatizado y no hay un control en OpenAI le. Llamaban superalignment, el superalineamiento, el tema de controlar realmente qué aprende, qué no aprende, cómo lo aprende la inteligencia artificial. Pero hoy en día, en el que son inteligencias artificiales las que deciden lo que las inteligencias…
Significado #1 · Palabras #1
Héctor Socas comenta sobre la posibilidad de presentar temas científicos de forma sensacionalista, mencionando ejemplos como 'una inteligencia artificial ha resuelto uno de los problemas del milenio' y 'OpenAI acusada de plagio'.
Habla: Héctor SocasSignificado #7 · Palabras #18inteligencia artificial resuelve problema milenioopenai acusada de plagio…que ha generado mucha polémica, mucha controversia en redes sociales, mucho salseo, cosas aquí que no nos gustan. A nosotros estas cosas no nos van, no nos gusta meternos en situaciones, en fin, entrar ahí al lodo, pero bueno, a veces no queda más remedio. El tema ya lo habrán visto; hay diferentes titulares que se pueden, hay diferentes formas en las que se puede presentar esto de forma un poco sensacionalista, llamativa. Por ejemplo, una inteligencia artificial ha resuelto uno de los problemas del milenio. Podemos empezar por ahí; esa puede ser un titular. Otro titular puede ser OpenAI acusada de plagio; también hay quien va por ese camino. Vamos a intentar poner un poco de orden y un poco de sensatez en todo esto; vamos a empezar por el principio. De hecho, incluso hemos tenido una pequeña conversación ahora en la pausa sobre cómo íbamos a estructurar esta conversación. Algo que no solemos…
Gastón Giribet explica cómo un rumor sobre el progreso de dos matemáticos en la resolución de casos específicos de un problema llevó a OpenAI a redirigir sus esfuerzos y destinar más recursos.
Habla: Gastón GiribetSignificado #19 · Palabras #4rumor matemáticos acercándose a casosopenai redirige esfuerzos codexcambio de atención openai problemas…trabaja casualmente en Anthropic a pesar de que hace esto en su tiempo libre, digamos, en su tiempo libre y resuelve problemas matemáticos importantes que le dan un millón de dólares a la gente y trabaja con Bookmaster, que es un reconocido experto en estos. Temas: La cuestión es que, bueno, estaban trabajando en esto; usaron muchas inteligencias artificiales, en particular usaron Codex, entonces ese es el problema porque hubo un rumor en OpenAI de que estos dos matemáticos se estaban acercando a resolver casos particulares de este problema. Entonces eso hizo que la compañía OpenAI haga un cambio de esfuerzos, o sea, quiero decir, el rumor de que estos matemáticos estaban trabajando en eso y de esto no hay controversia, hizo que haya un cambio de atención en los problemas que OpenAI estaba tratando. Entonces, como pongamos más recursos para resolver ese problema. Me permite una pequeña aclaración, Gastón. El rumor era que Anthropic, la empresa, estaba trabajando en Nave de Stocks. No sé bien cuál fue el rumor, porque no tenemos acceso a eso. Porque Leven trabajaba para Anthropic, pero en realidad no era Anthropic.…
Gastón Giribet explica cómo la solución encontrada por OpenAI presenta rasgos similares a su propio trabajo, sugiriendo que pudo haber sido influenciada por el uso de sus resultados por parte de los usuarios de OpenAI Astral.
Habla: Gastón GiribetSignificado #8trabajo de anthropic problemas matemáticosterence tao comentarios redes socialesrumor llega a openai competenciaanthropic y openai redirigen recursos10000 agentes trabajan en problemas matemáticosdisputa por resultados de investigadorestristamook master cuestiona a openaicaminos explorados nosotros openai astralcontroversia usuarios recursos openai astral…para Anthropic, pero en realidad no era Anthropic. Bueno, no sabemos bien cuál fue el rumor, en realidad. No sabemos bien cuál fue el rumor, porque a eso no tenemos acceso. Pero se cree, se especula con que el rumor era que Anthropic estaba trabajando en eso. porque un empleado de Anthropic era uno de los que estaba trabajando en eso. Exactamente, ese era el rumor, eso le llegó a Terence Tao, que lo hizo varios comentarios en redes sociales, a muchos matemáticos, el rumor estaba ahí, ¿no? Está bien, está bien. Y ese rumor es el que le llega a OpenAI y que dice, ¿eh, que la competencia está trabajando en ese problema? Sí, sí. Me voy a poner yo a... Me quiero limitar a lo que está documentado, al menos en algún lado escrito, digamos; ¿no? Es cierto que se dice que el rumor era que Anthropic estaba trabajando esto, OpenAI cambia recursos para trabajar más en esto, pone miles de agentes, 10.000 agentes a trabajar durante 4 días en esto, 88 horas en esto, y bueno, sale el anuncio de que ellos tienen la solución al problema. Entonces aparece una especie de disputa ahí porque Tristamook Master empieza a decirle a OpenAI: Ey, ustedes estuvieron usando, porque nosotros estamos usando su AI, ¿fue entrenada con nuestros resultados? O sea, sobre todo porque había ciertos rasgos de la solución, de cosas que no se te van a ocurrir a vos si no viste mi trabajo Ese era el problema principal uno cuando trabaja se da cuenta que hay ciertos trucos que es muy poco probable que se le ocurran a otro y entonces qué raro que esta solución haya tomado este camino, siendo que este es uno de los caminos que exploramos nosotros no digo que intencionalmente haya alguien espiado nuestro trabajo, para nada y de hecho no es que OpenAI estaba mirando, o al menos dice no haber estado mirando la carpeta del usuario pero sí que ha sido entrenada con lo que los usuarios estaban haciendo con los recursos de OpenAI Astral, entonces ahí aparece una controversia y la controversia empezó a Subir de tensión, pero recordemos que estamos hablando de dos académicos, porque Alpogea, aunque trabaje en Anthropic, acá era un particular, y Bookmaster, que es un profesor universitario, no tiene el poder de fuego de una empresa como OpenAI, y las…
Gastón Giribet explica cómo OpenAI presionó para que uno de los autores fuera excluido del trabajo debido a su empleo en Anthropic, a pesar de que esta empresa no estuviera directamente involucrada en la investigación. Además, OpenAI ofreció a Bookmaster la posibilidad de publicar el trabajo.
Habla: Héctor SocasSignificado #15empleado de anthropic excluido por openaibookmaster publicación trabajo euler openaiopenai ofrece publicar a bookmasterdos opciones para bookmaster euleroferta openai a bookmaster alpoguépublicación problema del mileniocrédito primer autor problema mileniouso modelos de openaiexclusión poge como autor…acá era un particular, y Bookmaster, que es un profesor universitario, no tiene el poder de fuego de una empresa como OpenAI, y las comunicaciones con OpenAI empezaron a subir de tono y fueron muy agresivos; primero empezaron a negociar como que Alpogea no Podía estar en el trabajo. ¿Por qué? Porque ser empleado de Anthropic, OpenAI pedía que sacaran a uno de los autores solamente porque era empleado de Anthropic, aunque no tuviese nada que ver Anthropic con todo esto, a lo cual ellos se negaron. Por otro lado, Gastón, una puntualización, porque, claro, para explicar cómo es que OpenAI está diciendo de sacar el trabajo a otros y se supone que estaban independientes y tal, es que OpenAI le ofreció a Bookmaster decir, bueno, vale, tú has estado trabajando en esto, públicalo tú, decía OpenAI, nosotros no necesitamos el crédito, o sea, nosotros, tú lo puedes publicar, si quieres. Dices que, de hecho le ofrecieron dos, según dice Bookmaster en una nota que publicó, le ofrecieron dos opciones: una es, o bien tú publica lo que tienes sobre Euler, y luego al día siguiente nosotros publicamos la solución completa. Tenía que decir que OpenAI tenía un resultado al respecto. Esa es. La segunda opción, espera, es que le dieron dos opciones; lo tengo aquí, tengo delante la, bueno, eso es lo que dice Bookmaster en una nota que publicó él. Dice que le dieron dos opciones: una era que publicaran primero ellos, Bookmaster y Alpogué, lo que tenían, y al día siguiente OpenAI publicaba el resultado final del problema del milenio; o bien le ofrecieron decir tú te llevas el crédito como primer autor de todo esto y del problema del milenio. Tienes que decir eso que tú dices, Gastón; tienes que decir que lo hiciste utilizando modelos de OpenAI. Pero una de las opciones era excluir al Poge como autor exacto; eso es lo que estoy diciendo, pero esa opción exactamente si tú lo puedes publicar y te llevas el crédito, dices que usas un modelo de OpenAI pero excluyes al Poge de autor porque bueno claro. Pero cuando ves tal como lo expresa Bookmaster en la nota, Igual hay algo de malentendido aquí, porque lo que dice el empleado de OpenAI, el ingeniero que llevaba esto en OpenAI, que se llama Sebastián Bubeck, dice: no, no, yo no le dije eso de forma como chantaje, sino le dije que hombre, que era un fastidio, que…
Gastón Giribet argumenta que las grandes empresas como OpenAI no permitirán la entrada de competidores directos en el ámbito del conocimiento. Además, señala la importancia de cumplir con los principios éticos profesionales.
Habla: Gastón GiribetSignificado #4 · Palabras #3ética profesional openaiconocimiento sin competencia directaempresas como openaiopinión sobre openai y bookmasterversión oficial espionaje bookmaster10000 agentes solución openaioferta de trabajo a bookmaster…diciendo eso, estoy diciendo que es frecuente encontrarse ese tipo de cuestiones, sobre todo cuando está mediada la publicidad. Si se moviliza por motivos publicitarios tantos recursos para adelantarse y apuntarse el tanto, es evidente que una empresa tan Mastodóntica no va a permitir que se cuele justo la competencia. No, por supuesto, por supuesto, por supuesto, pero bueno, hay una cuestión de ética profesional que hay que cumplir, y si estas empresas no están cumpliéndolas, estas empresas no tienen que estar en el juego del conocimiento, esa es mi opinión Ahora, aquí hay dos cosas Permite que haya un Estado fuerte que controle el comportamiento ético de estas empresas Ahora, aquí hay dos cosas, si realmente la versión oficial es esta y aquí no ha habido ese espionaje, sino que, oye, pues por la razón que sea ellos dieron este giro de timón, sus 10.000 agentes encontraron la solución y tal. Bueno, ellos pueden decir, oye, le ofrecimos a Bookmaster que hiciera este trabajo con nosotros dejando fuera el amigo, no lo quiso hacer, pues vale, nosotros lo publicamos y ya está. Bueno, puede ser hasta, puede estar hasta dentro de lo que son sus derechos legítimos. Ahora bien, Y es donde viene la segunda parte del problema: ¿realmente ha habido algún tipo de información que se haya difundido desde ese uso de herramientas de IA que estaban usando Bookmaster y Alpoge en Codex y que eso haya ido directa o indirectamente a la…
Gastón Giribet reflexiona sobre un problema ético complejo relacionado con el avance de la inteligencia artificial y cómo controlar a grandes empresas en este campo.
Habla: Gastón GiribetSignificado #5ética openai anthropic control estadossesgo político instituciones académicascapital simbólico capital económico academiaamenaza a trabajador academia créditosética e inteligencia artificialcontrol de empresas en españabien común y switchemos…nuclear. Lo mismo va a pasar con esto. El día de mañana hay enfermedades que no sabemos curar y así como podemos demostrar teoremas que no podíamos demostrar, el día de mañana podremos curar muchas de ellas gracias a esto. Esto hay que seguir estudiándolo. No obstante, el comportamiento ético, la ética de estas grandes compañías tiene que ser controlada fuertemente por estados. Eso es lo que yo creo. Estados o instituciones, creo yo gubernamentales por una cuestión de sesgo político, pero podría ser eso, no del gobierno, pero que no puede ser que el mercado de repente tenga el poder de amenazar a un trabajador de la academia diciendo si vos querés arruinar tu compañía me tenés que dar crédito a mí, que es ese tipo de manejos. Estos monstruos, como decía Ignacio, estos monstruos que tienen mucho capital simbólico y mucho capital económico y que entonces están luchando contra un simple trabajador de la academia que en su vida va a ahorrar la plata que le da este premio y que aún así se ve en una reunión de Zoom con un tipo que encima tiene una cara idiota que se cae diciéndole podés arruinar tu carrera. A mí me parece que ese, no es por una cuestión de hablar de estos detalles de alcoba, de la situación, pero me parece que sí nos deja ante un problema ético muy complejo. Nosotros queremos que esto avance, no somos el romántico, vulgar, oscurantista que dice Switchemos la inteligencia artificial off porque nos va a matar a todos. No, nos va a curar a todos, nos va a salvar a todos probablemente. Pero hay que hacerlo con los corsets propios que encaucen el comportamiento de estos monstruos económicos de una manera como herederos de la ilustración, de una dirección del bien común. Hay un pequeño detalle importante. El problema de estas empresas es que lo tienen todo automatizado con IA ¿lo tienen? Todo automatizado con IA. Es decir, ellas pulsan también la IA. Bueno, más o menos. Hay un momento donde no. Hay un momento donde estas…
Francis Villatoro explica cómo las inteligencias artificiales de OpenAI almacenaron fragmentos de conversaciones de matemáticos, lo que plantea un problema ético debido a la falta de control en el proceso de entrenamiento.
Habla: Francis VillatoroSignificado #1 · Palabras #1conversaciones de matemáticos openaientrenamiento inteligencia artificial openaiproblema ético openaiautomatización entrenamiento openai…una decisión humana de gente que se enteró por un rumor; más humano que escuchar un rumor y cambiar de dirección no hay. Eso es así, hubo ese cambio de dirección, pero lo que coinciden en OpenAI es que ellos no vieron el chat de estos matemáticos; es decir, Lo que ocurrió fue que las inteligencias artificiales que almacenan ciertos chaps y ciertos trozos de chaps, almacenaron trozos de los chaps de estos que se utilizaron en el entrenamiento de la nueva inteligencia artificial y por eso el problema ético es no trivial, porque la reacción que yo quería decir, el problema no es nada trivial porque todo está muy automatizado y no hay un control en OpenAI le. Llamaban superalignment, el superalineamiento, el tema de controlar realmente qué aprende, qué no aprende, cómo lo aprende la inteligencia artificial. Pero hoy en día, en el que son inteligencias artificiales las que deciden lo que las inteligencias…
Ignacio Crespo reflexiona sobre cómo las capacidades de memoria de trabajo artificiales, como una RAM, podrían transformar el enfoque a problemas complejos y plantea la necesidad de establecer principios éticos para su uso.
Habla: Ignacio CrespoPalabras #11memoria de trabajo artificial ramprincipios éticos para ramproblemas complejos con ram…proceso deductivo la memoria de trabajo es importantísima y se ve como a medida que hay un declive de la misma también hay una reducción de las contribuciones del investigador. Ojo, ¿quién tiene una memoria de trabajo absolutamente más potente que la nuestra? Una RAM. y eso va a ser va a ser relevante a la hora de tener una visión de conjunto de una nueva forma de aproximar estos problemas. Entonces, si tenemos una fuerza tan bestia, ¿cómo cambia la forma en la que trabajamos? Y sobre todo, ¿cuáles son los principios éticos para poderla utilizar? Hay un tema sobre eso que es, y si cambia qué, ¿no? Yo lo que no entiendo es esa visión medio nostálgica de, esto nos va a dejar sin trabajo, ¿y qué me importa? Es decir, mi trabajo se reconfigurará, tendré que hacer otra cosa, pero como científico, no es que…
Ignacio Crespo interviene en la tertulia para señalar que la discusión sobre la ética de las acciones recientes de OpenAI es limitada, considerando la larga lista de controversias previas asociadas a OpenAI y Anthropic.
Habla: Ignacio CrespoSignificado #2 · Palabras #2ética de acciones recientes openaicontroversias previas openai anthropiclista de situaciones controvertidas openaigestión de datos openaidatos confidenciales sistemas gobiernolegislación inteligencia artificialcontribución altruista científica openaidudas gestión grandes inteligencias artificiales…es un gran superordenador diseñado para responder a las preguntas últimas y tal, y después de correrla durante mucho tiempo sacaron la respuesta que era 42 o creo que era eso, ¿no? Y entonces se dieron cuenta que no sabían cuál era la pregunta. Bueno, Ignacio, tu comentario. Yo creo que hay un tema importante que estamos dándole vueltas porque fijémonos qué hemos hecho: hemos estado dedicando aquí unos cuantos minutos a hablar sobre si es ético o no es ético lo que ha hecho OpenAI sobre este caso concreto, como si fuera lo peor que ha hecho. Como si no tuviéramos ya una larguísima lista por parte de OpenAI y de Anthropic de situaciones mucho más controvertidas. Y en parte es por lo que estaba diciendo Francis, porque como todo esto viene con el envoltorio de la contribución altruista científica, llama más la atención. Olvidamos todo lo demás; olvidamos que ya había dudas importantes sobre cómo se gestionan los datos por parte de las grandes inteligencias artificiales, porque no hace falta que los guarden, que es sobre lo que está muchas veces la legislación para que tomen beneficios de ellos, y que para su contribución con datos que son confidenciales de sistemas, por ejemplo, gobiernos, esté suponiendo un problema. ¿Cómo se tiene que legislar eso? Y tenemos una situación complicada que no se sabe por dónde avanzar, porque sí, la legislación es necesaria; estoy totalmente de acuerdo. Me preocupa que, por mucho que sea necesaria, idealmente, ¿cuál es el ejemplo que tenemos?: Europa. ¡Qué fantástica…
Ignacio Crespo plantea una interpretación conspiranoica sobre las filtraciones negativas relacionadas con OpenAI y Anthropic, sugiriendo que podrían ser un intento de forzar la legislación para beneficiar a estas empresas.
Habla: Ignacio CrespoSignificado #11filtraciones openai anthropiclegislación para beneficiar openaiinteligencias artificiales destrucción humanidadseguridad empresas openai anthropiccompetencia china inteligencia artificial…legislando todo! Por supuesto que sí, pero ¿dónde está Europa en esa carrera? ¿Y cuáles son los países que realmente lideran la carrera y su relación con la legislación? ¿Dónde está Estados Unidos y sobre todo dónde está China? ¿Y qué es lo que va a ocurrir? Había, por ejemplo, una interpretación que creo que es algo conspiranoica, pero bueno, está bien lanzarla; y es que todos estos comentarios que se filtran sobre lo terribles que son estas inteligencias artificiales y cómo van a destruir a la humanidad, que vienen en principio desde dentro, podrían ser un intento de forzar que se legislara, que se legislara para que salgan beneficiadas precisamente estas grandes empresas OpenAI y Anthropic; que a pesar de ser muy opacas en su forma de gestionar la seguridad son tal vez mejores que la competencia que está ofreciendo China y que cada vez está más cerca de pisar los talones por algunos motivos. Creo que no hay que llegar tampoco a estas reflexiones para entender que puede haber un beneficio en soltarlo. Ya decíamos lo de la bolsa y pensémoslo. De nuevo, es una simplificación muy grande, pero si mañana tuviéramos que poner nuestro dinero en una u…