Resumo: A IA e os "papagaios estocásticos"

Em 2024, as linguistas Emily Bender e Timnit Gebru descreveram o campo maior site de apostas esportivas ascensão 2️⃣ de modelos linguísticos como um de "papagaios estocásticos". Eles argumentam que um modelo linguístico é um sistema que "costura aleatoriamente 2️⃣ sequências de formas linguísticas que observou maior site de apostas esportivas seus vastos dados de treinamento, de acordo com informações probabilísticas sobre como elas 2️⃣ se combinam, mas sem nenhum referencial de significado."

A frase "papagaios estocásticos" ganhou força. A IA ainda pode se melhorar, mesmo 2️⃣ sendo um "papagaio estocástico", porque quanto mais dados de treinamento ela tiver, melhor ela parecerá. Mas um sistema como o 2️⃣ ChatGPT realmente exibe algo como inteligência, raciocínio ou pensamento? Ou é apenas, maior site de apostas esportivas escala crescente, "costurando aleatoriamente sequências de formas 2️⃣ linguísticas"?

Tokens não fatos

Descobriu-se que sim. Como Lukas Berglund, et al. escreveram maior site de apostas esportivas 2024: "Se um humano aprende o fato, 'Valentina 2️⃣ Tereshkova foi a primeira mulher a viajar ao espaço', eles também podem responder corretamente, 'Quem foi a primeira mulher a 2️⃣ viajar ao espaço?' Isso é uma forma tão básica de generalização que parece trivial. No entanto, mostramos que os modelos 2️⃣ linguísticos autoregressivos falham maior site de apostas esportivas generalizar desse modo."

Os pesquisadores " ensinaram" um monte de fatos falsos para grandes modelos linguísticos e 2️⃣ descobriram repetidamente que eles simplesmente não conseguiram inferir a ordem inversa. Mas o problema não existe apenas maior site de apostas esportivas modelos tolo 2️⃣ ou situações artificiais:

Testamos o GPT-4 maior site de apostas esportivas pares de perguntas como, "Quem é a mãe de Tom Cruise?" e, "Quem é 2️⃣ Mary Lee Pfeiffer's filho?" para 1.000 celebridades diferentes e seus pais reais. Encontramos muitos casos maior site de apostas esportivas que o modelo responde 2️⃣ corretamente à primeira pergunta ("Quem é <celebridade>'s pai?"), mas não à segunda. Supomos que isso acontece porque os dados de 2️⃣ treinamento pré-formatados incluem menos exemplos da ordem maior site de apostas esportivas que o pai precede a celebridade (por exemplo, "Mary Lee Pfeiffer's filho 2️⃣ é Tom Cruise").

Uma forma de explicar isso é perceber que os LLMs não aprendem sobre relações entre fatos, mas entre tokens , 2️⃣ as formas linguísticas que Bender descreveu. Os tokens "Tom Cruise's mother" estão ligados aos tokens "Mary Lee Pfeiffer", mas a 2️⃣ inversa não é necessariamente verdadeira. O modelo não está raciocinando, está brincando com palavras, e o fato de que as 2️⃣ palavras "Mary Lee Pfeiffer's son" não aparecem maior site de apostas esportivas seus dados de treinamento significa que ele não pode ajudar.

Mas outra forma 2️⃣ de explicar é perceber que, afinal, os humanos também são assimétricos dessa maneira. Nosso raciocínio é simétrico: se soubermos que duas pessoas 2️⃣ são mãe e filho, podemos discutir essa relação maior site de apostas esportivas ambas as direções. Mas nossa lembrete não é: é muito mais fácil lembrar 2️⃣ fatos divertidos sobre celebridades do que ser solicitado, sem contexto, com informações pouco reconhecíveis e ser solicitado a colocar exatamente 2️⃣ por que você sabe.

Na extremidade, isso é óbvio: compare ser solicitado a listar todos os 50 estados dos EUA com 2️⃣ ser mostrado uma lista de 50 nomes de estados e ser solicitado a nomear o país que eles compõem. Como 2️⃣ questão de raciocínio, os fatos são simétricos; como uma tarefa de lembrar, eles muito não são.