Quelltext der Seite Deepseek-R1: Explicado De Forma Simples

<br>Uma das disciplinas que leciono na [https://concetta.com.ar Pontifícia Universidade] [https://azetikaboldogit.hu Católica] do Paraná, [http://webplanet.ru Construção] de Interpretadores engloba o processamento de linguagens formais a naturais. Dado o terremoto provocado pela DeepSeek com o seu modelo DeepSeek-R1, fiquei curioso e resolvi fazer um apanhado artigos para que as vozes na minha cabeça se acalmem um pouco. [https://www.dadam21.co.kr Curiosidade mata] gato mas excita o pesquisador. Esse é o resultado deste esforço.<br> <br><br>A primeira coisa importante a notar é que o DeepSeek-R1 está sob a [http://thinkbeforeyoubuy.ie licença] MIT, e que pode ser encontrado no Hugging Face. Tudo, exceto os dados usados para treinamento,  [https://macphersonwiki.mywikis.wiki/wiki/Usuario:YJPRae4914758 macphersonwiki.mywikis.wiki] está disponível online, no Hugging Face, no Github e em alguns outros sites.<br><br><br>A grande questão é: porque não os dados de treinamento? A resposta mais óbvia é: porque aqui está o problema. Mas isso fica para outra discussão1.<br><br><br>O R1 chamou a atenção por empatar, ou bater os modelos antigos e tradicionais.<br><br><br>Comparação entre os resultados de diversos modelos<br><br><br>Achei o máximo escrever modelos antigos e tradicionais para uma tecnologia de 4 anos, no máximo.<br><br><br>O R1 quase derrubou a web por, supostamente, ter sido criado com um custo 20 [https://www.deanash.co.uk vezes menor].<br><br><br>O que [http://dndplacement.com realmente] me interessa, já que não tenho acesso aos dados, neste modelo é o uso de Reinforcement Learning por eles que foi descaradamente explicitado em [http://beel.ink vários artigos] abertos. Me interessa porque eu tenho falado para os meus alunos que o [https://peerless-blog.com próximo salto] evolutivo da humanidade será devido a Support Learning. Então, talvez, só talvez, a DeepSeek não me deixe mentir sozinho.<br><br><br>Uma das inovações do DeepSeek-R1 é a adoção da Group Robust Preference [https://www.mainnetwork.org Optimization] (GRPO), introduzida no artigo DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models sobre o trabalho de Schulman et.al de 2017 Group Robust Preference Optimization in Reward-free RLHF. Essa técnica substitui métodos tradicionais de otimização de políticas, como o Proximal Policy Optimization (PPO), apresentado por [https://alpha-paysages.fr Schulman] et al. em Proximal Policy Optimization Algorithms. Simplificando, a [https://fincalacuarela.com GRPO permite] que o modelo aprenda de forma mais eficaz comparando seu desempenho com o de outros modelos em um grupo, otimizando [https://doctorately.com suas ações] para alcançar melhores resultados em tarefas de raciocínio matemático. Essa abordagem torna o processo de treinamento mais eficiente e escalável se comparado com o PPO.<br><br><br>Além da GRPO, o DeepSeek-R1 incorpora a Multi-head Latent [http://globalk-foodiero.com Attention] (MLA), uma técnica introduzida no DeepSeek-V3, que, por sua vez, foi inspirada no trabalho de Kitaev, Kaiser e [http://vk-mix.ru Levskaya] em Reformer: The Efficient Transformer. A MLA aborda as ineficiências computacionais e de memória associadas ao processamento de sequências longas, especialmente em modelos de linguagem com atenção multi-cabeça. Em termos simples podemos dizer que a [https://bcph.co.in MLA melhora] a [https://www.wearedesignedtoheal.com eficiência] do modelo ao simplificar a maneira como ele processa as informações. Ela projeta as matrizes Key-Query-Value (KQV) em um [http://www.corrutop.com espaço latente] de menor dimensão, reduzindo a complexidade computacional e melhorando a eficiência do modelo.<br><br><br>[http://beel.ink Neste momento] você tem duas escolhas claras: sentar em um lugar mais [https://bridgejelly71Fusi.serenaWww.ilcorrieredelnapoli.it confortável já] que vai demorar, ou ir fazer scroll no instagram.<br><br><br>Fundamentos da Arquitetura<br><br><br>A sopa de letrinhas que precisa ser consumida, morna e vagarosamente, para entender como o DeepSeek-R1 funciona, ainda precisa de algum tempero.<br><br><br>Algumas das mudanças realizadas pela equipe de DeepSeek, liderada por Luo Fuli um prodígio com cara de atriz de dorama, incluem Mixture of Experts (MoE), Multi-head Latent Attention (MLA), Quantização FP8 e Multi-Token Prediction (MTP). A saber:<br><br><br>Mixture of Experts (MoE)<br><br><br>O mecanismo Mixture of Experts (MoE) ativa apenas um subconjunto dos parâmetros totais dentro de cada bloco Transformer, permitindo economias computacionais substanciais enquanto preserva a qualidade do modelo. Esta ativação seletiva é particularmente vantajosa para escalar os parâmetros do modelo sem aumentar proporcionalmente os custos computacionais.<br><br><br>A função gate de seleção de especialistas é governada por uma função de porta $G( x)$ que direciona tokens $x$ para especialistas $E_k$, definida como:<br><br><br>Cada token é então processado pelos especialistas selecionados, agregados como:<br><br><br>Uma perda de balanceamento de carga é adicionada para encorajar utilização igual dos especialistas, reduzindo gargalos computacionais.<br><br><br>Vamos ver um exemplo simplificado de como o MoE funciona na prática. Imagine que temos:<br><br><br>- 3 especialistas ($ E_1$, $E_2$, $E_3$).<br>- Um token de [http://2olega.ru entrada] $x$ representando a palavra "computador"<br><br><br>Primeiro, o token passa pela função gate $G( x)$, que calcula um score para cada especialista. Vamos dizer que após a transformação $W_gx$ e aplicação do softmax, obtemos:<br><br><br>Isto significa que:<br><br><br>- Especialista 1 ($ E_1$): 70% de ativação.<br>- Especialista 2 ($ E_2$): 20% de ativação.<br>- Especialista 3 ($ E_3$): 10% de ativação<br><br><br>Agora, suponha que cada especialista processe o token e produza um vetor de características:<br><br><br>A saída final será a soma ponderada desses vetores, usando os pesos da função gate:<br><br><br>Agora, imagine que após processar vários tokens, notamos que o Especialista 1 está sendo usado 80% do tempo. Aqui é onde a perda de balanceamento entra em ação:<br><br><br>Para $K = 3$ especialistas, a [https://agencies.omgcenter.org frequência perfect] é $ frac 1 K =  frac 1 3  approx 0.33$<br><br><br>Calculando a perda de balanceamento para este caso (com $ alpha = 1$):<br><br><br>Este valor alto de $L _ balance $ indica um desequilíbrio significativo na utilização dos especialistas, e o modelo será penalizado por isso durante o treinamento, incentivando-o a desenvolver uma distribuição mais equilibrada nas próximas iterações.<br><br><br>O MoE funciona essencialmente como um sistema de distribuição de tráfego inteligente, onde o "roteador" ([https://bodyspecs.com.au chamado] de função de gate ou porta) choose qual especialista ou combinação de especialistas deve processar cada token de entrada. Este [http://santemondiale2030.fr roteamento é] feito de forma dinâmica e aprendida, não através de regras fixas.<br><br><br>Para entender melhor, podemos fazer uma analogia com um hospital: Imagine um grande hospital com vários médicos especialistas. Quando um paciente chega, similar a um token de entrada, um enfermeiro de triagem muito experiente, a função de gate, avalia rapidamente o caso e choose quais especialistas devem atender o paciente. Alguns [https://officialindustrialproducts.com casos podem] precisar de apenas um especialista, enquanto outros podem [https://theconnectly.com requerer] uma equipe de diferentes especialidades.<br><br><br>No contexto do DeepSeek-R1, este roteamento é representado matematicamente pela função $G( x)$, que podemos entender como um direcionador que:<br><br><br>1. Recebe um token de [https://agencies.omgcenter.org entrada] $x$.<br>2. Avalia suas características através de uma transformação $W_gx$.<br>3. Usa uma função softmax para gerar probabilidades de encaminhamento para diferentes especialistas.<br>4. Direciona o token para os especialistas mais apropriados<br><br><br>Finalmente temos a perda de [https://gulfjobwork.com balanceamento] de carga. Um mecanismo que evita que alguns especialistas fiquem sobrecarregados enquanto outros ficam ociosos. Para [https://www.grayshottfc.co.uk entender] este conceito, podemos voltar ao nosso hospital:<br><br><br>Imagine que em um health center, alguns médicos especialistas começam a receber muito mais [https://gitea.dev.corp.daydev.org pacientes] que outros. Por exemplo, um cardiologista está sempre ocupado, atendendo 80% dos pacientes, enquanto um neurologista mal recebe pacientes. Isso cria dois problemas: o cardiologista fica sobrecarregado, podendo causar atrasos e queda na qualidade do atendimento; e o conhecimento do [http://infodis.com.ar neurologista está] sendo desperdiçado.<br><br><br>Para [http://mitieusa.com resolver] isso, o medical facility, nosso sistema MoE, adiciona uma regra specific na função de triagem: se o enfermeiro da triagem, função gate, percebe que está enviando muitos pacientes para um mesmo especialista, ele recebe um "feedback negativo", a perda de balanceamento, que o incentiva a distribuir melhor os pacientes. E viva o Reinforcement Learning!<br><br><br>Matematicamente, isso é implementado como um termo adicional na função de perda total do modelo:<br><br><br>Nesta equação:<br><br><br>- $f_k$ representa a frequência com que o especialista $k$ é utilizado;.<br>- $ frac 1 K $ é a frequência perfect (distribuição uniforme);.<br>- $ alpha$ é um hiperparâmetro que controla a importância deste balanceamento.<br><br><br>Este tapinha na mão, perda adicional de balanceamento, age como um regulador, penalizando o modelo quando ele desenvolve preferências muito fortes por certos especialistas. Na verdade, o sistema busca minimizar $L _ balance $, o que naturalmente leva a uma distribuição mais uniforme do trabalho entre os especialistas.<br><br><br>O [https://stevenleif.com objetivo final] é garantir que todos os especialistas sejam utilizados de forma aproximadamente igual ao longo do tempo, evitando gargalos e maximizando a eficiência. [https://boardroomandbeyond.com Continuando nossa] analogia, é como ter um bom administrador hospitalar que garante que todos os médicos estejam contribuindo de maneira equilibrada para o funcionamento do [https://akindo-pikaso.com healthcare facility]. Nem que ele tenha que chamar a atenção de [https://wordpress.nibis.de alguém] aqui e ali.<br><br><br>Quando esta perda de balanceamento é combinada com a função principal do MoE:<br><br><br>O [http://104.248.138.208 sistema completo] consegue não apenas rotear tokens para os especialistas mais apropriados, mas também manter uma [https://www.nordlyz.com distribuição] saudável de carga de trabalho em todo o modelo.<br><br><br>A beleza deste sistema é que ele é eficiente, adaptativo e escalável: eficiente por [http://l-con.com.au só ativar] os especialistas necessários para cada token; adaptativo por aprender os padrões de roteamento durante o treinamento e escalável por permitir aumentar o número de parâmetros do modelo sem aumentar proporcionalmente o custo computacional. O MoE é o cara. <br><br><br>Group Robust Preference Optimization<br><br><br>A Group Robust Preference Optimization (GRPO) representa uma evolução significativa nos métodos de otimização para modelos de linguagem, substituindo abordagens tradicionais como o Proximal Policy Optimization (PPO). Esta técnica introduz um paradigma de aprendizado que compara o [https://maralboran.eu desempenho] do modelo com outros em um grupo de referência.<br><br><br>A função objetivo do GRPO pode ser expressa matematicamente como:<br><br><br>Para entender melhor como o GRPO funciona na prática, considere um exemplo de raciocínio matemático:<br><br><br>Dado um problema matemático $x$: "Qual é a derivada de $f( x) = x ^ 2$?"<br><br><br>E uma resposta candidata $y$: "$ f'( x) = 2x$"<br><br><br>O GRPO avalia a resposta comparando com um grupo de modelos de referência:<br><br><br>A [https://www.papadopoulosalex.gr otimização GRPO] busca maximizar:<br><br><br>Este processo incentiva o modelo a desenvolver robustez em suas previsões, evitando sobre-ajuste a um único critério de avaliação. O GRPO é mais eficiente graças a MLA.<br><br><br>Multi-head Latent Attention (MLA)<br><br><br>O sistema Multi-head Latent Attention (MLA), introduzido no DeepSeek-V3, reduz ineficiências computacionais e de memória projetando matrizes Key-Query-Value (KQV) em um espaço latente de menor dimensão. O objetivo é diminuir a latência de [https://www.teambookkeeping.co.nz inferência] e os custos computacionais, particularmente para processamento de contexto longo.<br><br><br>Para entender o MLA, podemos usar uma analogia com uma biblioteca. Imagine uma enorme biblioteca universitária com milhões de livros, nosso espaço original. Buscar um livro específico comparando-o com cada livro da biblioteca seria extremamente ineficiente. Em vez disso, a biblioteca usa um sistema de catalogação, nosso espaço latente, que representa cada livro por um código mais compacto, contendo informações essenciais como assunto, autor e localização.<br><br><br>No contexto do MLA, a transformação do mecanismo de atenção começa no [https://lengan.vn espaço] original, onde:<br><br><br>$ K, Q, V = W_kX, W_qX,  [https://wikibase.imfd.cl/wiki/User:AbbyBowie93245 wikibase.imfd.cl] W_vX$<br><br><br>Aqui, $X$ [https://www.theleavellfoundation.org representa] nossa entrada, como os livros na biblioteca, e $W_k$, $W_q$, $W_v$ são transformações que geram nossas chaves ($ K$), consultas ($ Q$) e valores ($ V$), comparable a criar diferentes índices para [http://www.amandakern.com nossos livros].<br><br><br>Estas representações são então projetadas em um espaço latente $L$ de menor dimensão:<br><br><br>$ K_L, Q_L, V_L = W_LK, W_LQ, W_LV$<br><br><br>É como se criássemos um catálogo resumido que mantém apenas as informações mais relevantes, tornando as buscas muito mais eficientes.<br><br><br>Vamos ver como isso funciona na prática. Imagine que temos:<br><br><br>- Uma sequência de entrada com dimensão initial de 1024;<br>- Um espaço latente com [http://hi-couplering.com dimensão] 64;<br><br><br>No espaço initial, para calcular a atenção entre uma sequência de $100$ tokens: precisaríamos fazer $100  times 100 = 10.000$ comparações. Neste caso, cada comparação envolveria vetores de dimensão $1024$.<br><br><br>No espaço latente, ainda fazemos $100  times 100 = 10.000$ [https://parentingliteracy.com comparações]. Mas cada [http://artofbraveliving.com comparação] agora usa vetores de dimensão $64$. Implicando em uma [http://caribeda.com redução] de $16x$ na quantidade de [https://www.freeadzforum.com memória necessária]! Esta economia de memória é proporcional à razão entre as dimensões initial e latente. Neste caso, $1024/64 = 16$.<br><br><br>A complexidade computacional permanece $O( N ^ 2)$. Porém, as operações são realizadas em vetores de dimensão reduzida, $d_L$, reduzindo o [https://www.myceosa.org custo computacional] real. Em nosso exemplo temos:<br><br><br>1. No espaço de atenção original, com [http://thinkbeforeyoubuy.ie dimensão] $d$: ( O( n ^ 2d)  text operações, onde n  text é o tamanho da sequência )<br><br><br>2. No [http://vovinamcanada.com espaço] latente, com [https://www.teambookkeeping.co.nz dimensão reduzida] $d_l$: ( O( n ^ 2d_l + nd_kd_l)  text operações, onde d_l <br><br>Para ilustrar a diferença prática quando $n = 100$, $d_k = 1024$ e $d_l = 64$:<br><br><br>- A primeira expressão resulta em aproximadamente 10 [https://www.wanghui.it milhões] de operações;<br>- A segunda expressão resulta em aproximadamente 640 mil operações. Eita!<br><br><br>Voltando à nossa analogia da biblioteca, é como se [https://patriotgunnews.com pudéssemos transformar] cada livro em um cartão de catálogo compacto, realizar buscas usando apenas estes cartões e acessar o livro completo apenas quando fosse realmente necessário.<br><br><br>O MLA aplica este mesmo princípio, [https://krishnauniverse.com permitindo] que modelos processem textos muito mais longos com menos recursos. É como ter uma biblioteca infinitamente mais eficiente, onde podemos encontrar exatamente o que precisamos sem ter que olhar cada [https://lyzai.fun livro individualmente]. É como ter o melhor dos dois mundos: a riqueza de informação do espaço initial com a eficiência do [http://crefus-nerima.com espaço latente]. Parece mágica, mas não é.<br><br><br>FP8 Quantização: Compactando Números de Forma Inteligente<br><br><br>O DeepSeek-R1 utiliza quantização de ponto flutuante de 8 bits (FP8) para reduzir o uso de [http://cevhervinc.com.tr memória] e custos computacionais. Este processo é similar à [https://www.sgl-ca.com compressão] de imagens digitais: assim como podemos reduzir o tamanho de uma foto mantendo sua qualidade visual, a [http://101.43.112.1073000 quantização] FP8 reduz o [https://pmeat.ru tamanho] dos números preservando sua [https://svizec-shop.com utilidade matemática]. Comparado ao formato tradicional de 32 bits (FP32), o FP8 reduz os requisitos de memória em 75% enquanto mantém a estabilidade numérica necessária durante o treinamento e inferência do modelo.<br><br><br>Para realizar esta compressão numérica, o FP8 utiliza uma função de quantização curiosamente simples e deliciosamente elegante:<br><br><br>Onde $S$ é um fator de escala que é ajustado [http://shinwootech.net dinamicamente] com base nos gradientes de perda. Para entender como isso funciona na prática, imaginemos um neurônio em nossa rede que precisa armazenar o valor $0.123456789$. No formato FP32, este número seria armazenado com alta precisão, usando 32 bits de memória. Durante a quantização FP8, primeiro dividimos este valor por  [https://brotato.wiki.spellsandguns.com/User:Otilia39J96 brotato.wiki.spellsandguns.com] um fator de escala, digamos $S = 0.01$, obtendo $12.3456789$. Este número é então arredondado para $12$ e multiplicado novamente por $S$, [http://www.cycle2yorktown.com resultando] em $0.12$. Faz mais [https://nlpportal.org sentido] em binário.<br><br><br>Este foi só um exemplo, existem vários padrões de quantização FP8, por exemplo:<br><br><br>- FP8-E4M3: este formato oferece um bom equilíbrio entre faixa dinâmica e precisão, sendo adequado para uma variedade de [http://scorpitou.design.free.fr aplicações] de aprendizado de máquina.<br><br><br>- FP8-E5M2: este formato prioriza uma faixa dinâmica maior em detrimento da precisão, [https://sbstaffing4all.com sendo útil] em casos onde a representação de [http://xn----itbjfmhgce8azck.xn--p1ai números] muito grandes ou muito pequenos é important.<br><br><br>No artigo, eles [https://celebys.com não explicitam] que padrão usaram. E eu não vou baixar o [http://soapopera.co.in código]. [http://apogremos.gr Minha máquina] não [https://tuxpa.in roda esse] treco.<br><br><br>O processo é similar [https://new.gamesfree.ca ao ajuste] de zoom em uma [https://www.hyperbaricair.com câmera fotográfica]. O fator de escala $S$ funciona como o zoom, ajustando o nível de detalhe que capturamos. Em regiões do modelo onde precisamos mais precisão, $S$ se ajusta automaticamente para preservar mais detalhes numéricos, como um fotógrafo ajustando o zoom para capturar detalhes importantes em uma cena2.<br><br><br>Em um modelo com um  de parâmetros, esta técnica reduz o uso de memória de 4 [https://butterflygardensabudhabi.com gigabytes] para apenas 1 [http://www.samjinuc.com gigabyte]. Além disso, números menores são processados mais rapidamente pelo hardware, e mais dados podem ser mantidos nos caches do processador, acelerando todas as operações do modelo.<br><br><br>O aspecto mais interessante da quantização FP8 é como ela equilibra precisão e eficiência. Em partes do modelo onde pequenas variações numéricas são cruciais, o fator de escala $S$ se ajusta para preservar mais precisão. Em outras regiões, onde [http://211.159.154.983000 variações menores] não afetam significativamente o resultado, a quantização pode ser mais agressiva. Este comportamento adaptativo permite que o modelo mantenha seu desempenho mesmo com uma representação numérica mais compacta.<br><br><br>Na prática, [https://completemetal.com.au isso significa] que podemos executar modelos complexos em hardware mais simples e tornar o treinamento mais [http://www.modestyproductions.se eficiente]. O fator de escala dinâmico, determinado pelos [https://www.inalto.it gradientes] de perda durante o treinamento, garante que esta compressão numérica não comprometa a capacidade de aprendizado do modelo.<br><br><br>Multi-Token Prediction (MTP)<br><br><br>O mecanismo Multi-Token Prediction (MTP) representa uma mudançan essential na forma como os modelos de linguagem geram texto, permitindo a previsão simultânea de [https://wawg.ca múltiplos] tokens em vez da tradicional abordagem autorregressiva token por token. Esta inovação é particularmente significativa para tarefas que envolvem raciocínio de contexto longo.<br><br><br>A função de [https://www.powerholding.cz predição basic] do MTP é governada por uma função de probabilidade condicional dada por:<br><br><br>A paralelização reduz o número de passos de [https://www.politicamentecorretto.com inferência] de $T$ para $T/k$, acelerando a geração em hardware adequado, sendo $k$ o número de tokens previstos simultaneamente em cada etapa.<br><br><br>Na prática é mais, ou menos, assim: imagine que estamos [http://kmmedical.com tentando gerar] a frase "O gato preto dormiu no sofá". Em uma abordagem tradicional autorregressiva, teríamos:<br><br><br>Com MTP usando $k=2$ (prevendo dois tokens por vez), teríamos:<br><br><br>A eficiência computacional vem do fato de que, em vez de fazer $6$ passos de inferência, fazemos apenas $3$. Para entender melhor, podemos fazer uma [http://narrenverein-langenenslingen.de analogia] com um processo de tradução humana:<br><br><br>Imagine um tradutor experiente trabalhando em um texto. Um tradutor iniciante pode precisar traduzir palavra por palavra, similar à abordagem autorregressiva tradicional. No entanto, um tradutor experiente frequentemente processa portions ou grupos de palavras simultaneamente, similar ao MTP3. Esta capacidade de processar múltiplos tokens simultaneamente não apenas acelera o processo, mas também pode capturar melhor as dependências semânticas entre palavras próximas.<br><br><br>A implementação do MTP envolve um [https://coiffuresecretdart.com mecanismo] de atenção modificado que permite que o modelo:<br><br><br>1. Mantenha a [http://awonaesthetic.co.kr coerência] entre os tokens gerados simultaneamente;<br>2. Preserve as dependências contextuais importantes;<br>3. Balanceie a velocidade de geração com a qualidade do texto;<br><br><br>Para garantir a qualidade da [https://www.wolfinloveland.nl geração] paralela, o modelo utiliza uma função de perda especial que podemos definir como:<br><br><br>Na qual $L _ consistency $ é um termo de regularização que penaliza inconsistências entre tokens gerados simultaneamente, e $ alpha$ é um hiperparâmetro que controla a importância deste termo. Esta é uma versão simplificada; [http://studio3z.com implementações reais] podem usar mecanismos de atenção especializados para garantir coerência.<br><br><br>O termo de consistência pode ser [https://www.jjldaxuezhang.com calculado] como:<br><br><br>Neste caso, $h_i$ representa as representações ocultas dos tokens gerados em paralelo.<br><br><br>Para ilustrar o impacto na eficiência, considere um modelo processando um texto de $1000$ tokens:<br><br><br>[http://thinkbeforeyoubuy.ie - Abordagem] tradicional: $1000$ passos de inferência;<br>- MTP com $k= 4$: $250$ passos de inferência;<br>- MTP com $k= 8$: $125$ passos de inferência.<br><br><br>No entanto, valores muito altos de $k$ podem levar a degradação na qualidade do texto gerado. O [https://urairlines.com truque está] em encontrar um equilíbrio entre [https://pialundceramics.com velocidade] e qualidade.<br><br><br>Similar ao MoE, que otimiza o uso de recursos através da especialização, o MTP otimiza através da paralelização, demonstrando como diferentes estratégias de otimização podem trabalhar em conjunto para criar modelos mais eficientes e capazes.<br><br><br>Pipeline de Treinamento: da Pré-Treinamento ao Raciocínio<br><br><br>O DeepSeek-R1 emprega um pipeline multi-estágio projetado para maximizar suas capacidades de raciocínio enquanto minimiza custos computacionais. Este processo consiste em estágios distintos, cada um guiado por [https://gitea.neoaria.io funções] de perda e mecanismos de recompensa específicos para a tarefa.<br><br><br>Nós vamos estudar este treinamento em duas fases distintas.<br><br><br>Estágio 1: Cold Start com Ajuste Fino Supervisionado (SFT)<br><br><br>O DeepSeek-R1 começa ajustando o modelo V3-Base com exemplos de alta qualidade de Chain of Thought (CoT). Estes exemplos são cuidadosamente curados usando prompting com poucos exemplos, anotação manual e refinamento das saídas do DeepSeek-R1-Zero.<br><br><br>Chain of Thought (CoT) e Zero-Shot Chain of Thought<br><br><br>O mecanismo Chain of Thought (CoT) representa uma evolução na forma como os modelos de linguagem abordam problemas complexos. Em vez de tentar chegar diretamente a uma resposta, o CoT introduz um processo de raciocínio explícito e passo a passo que mimetiza o pensamento humano. Esta abordagem é particularmente poderosa para tarefas que exigem raciocínio matemático, lógico ou multi-etapas. Áreas do pensamento também conhecidas como: tudo.<br><br><br>Um vislumbre da matemática do CoT deve ajudar a entender como ele funciona. A probabilidade de gerar uma resposta correta $y$ para uma entrada $x$ usando CoT pode ser expressa como:<br><br><br>Nesta equação, $z$ representa os passos intermediários do raciocínio, como quando escrevemos nosso pensamento em um papel ao resolver um problema. Sendo assim, o conjunto $Z$ contém todos os possíveis caminhos de raciocínio que poderíamos seguir.<br><br><br>Para [https://stephanieholsmanphotography.com entender melhor] como isso funciona na prática, vamos considerar um problema que todos já enfrentamos em sala de aula:<br><br><br>Em uma sala há 3 mesas. Em cada mesa há 4 vasos. Em cada vaso há 2 flores. Quantas flores há no overall?<br><br><br>Um modelo tradicional poderia tentar pular direto para a resposta. Já com CoT, o processo é composto quase naturalmente:<br><br><br>Em cada passo deste processo, o modelo calcula a probabilidade do próximo passo baseado em todos os passos anteriores:<br><br><br>Na qual, $f _  theta$ é a função do modelo, parametrizada por $ theta$,  [https://classifieds.ocala-news.com/author/wdncaitlin3 classifieds.ocala-news.com] que choose qual deve ser o próximo passo do raciocínio.<br><br><br>Para garantir que este raciocínio seja não apenas correto, mas também coerente,  [https://utahsyardsale.com/author/kaseya94182/ utahsyardsale.com] o modelo utiliza uma função de perda especialmente projetada:<br><br><br>O hiperparâmetro $ alpha$, característico do DeepSeek-R1, funciona como um teacher ajustando o peso entre chegar à resposta certa ($ y$) e mostrar o trabalho de forma clara ($ z_t$).<br><br><br>A eficácia desta abordagem pode ser medida de várias formas complementares:<br><br><br>1. Precisão da resposta final ($ A_f$):<br><br><br> [A_f =  frac  text Respostas corretas  text Total de problemas ] 2. Coerência dos passos intermediários ($ C_z$):<br><br><br> [C_z =  frac 1 T  sum _ t= 1 ^ T  text rating (z_t|z _ { Cuja relação pode ser expressa matematicamente como:<br><br><br>Nesta equação, $S$ representa o grau de aderência à estrutura predefinida, $E$ quantifica a capacidade de expressão flexível do modelo, e $ gamma$ atua como um parâmetro de balanceamento que permite ajustar a importância relativa destes dois aspectos.<br><br><br>O início a frio em LLM, em vez de simplesmente preencher lacunas de dados, busca estabelecer um {framework|structure} robusto para o raciocínio estruturado. Não é fácil resistir a uma analogia com o processo educacional, onde primeiro estabelecemos fundamentos sólidos de resolução de problemas antes de expor o estudante a desafios mais complexos. E, pelo que podemos ver no mercado, está funcionando.<br><br><br>Estágio 2: {Reinforcement|Support} {Learning|Knowing} - Evoluindo Através da Experiência<br><br><br>O {Reinforcement|Support} {Learning|Knowing} (RL) é o coração pulsante do DeepSeek-R1, representando uma mudança evolucionária na forma como os modelos de linguagem natural desenvolvem suas capacidades de raciocínio. Em vez de depender apenas de dados cuidadosamente curados por humanos, o modelo evolui através de um processo orgânico de tentativa e erro, {similar|comparable} a como nós humanos aprendemos através da experiência.<br><br><br>Eu não queria dizer isso. Mas, eu te disse!<br><br><br>Mentira: queria sim.<br><br><br>Para entender profundamente como o RL funciona, precisamos primeiro compreender sua estrutura matemática. O processo pode ser formalizado como uma decisão de Markov (MDP), definida pela tupla:<br><br><br>Nesta estrutura, $S$ representa o espaço de estados possíveis do modelo, $A$ é o conjunto de todas as ações que o modelo pode tomar, $P$ captura a dinâmica de como o ambiente responde a essas ações, $R$ é a função que determina as recompensas, e $ gamma$ é um fator que equilibra a importância de recompensas imediatas versus futuras.<br><br><br>O objetivo {fundamental|essential|basic} do modelo é desenvolver uma política ótima $ pi ^ *$ que {maximize|make the most of|take full advantage of|optimize} a soma descontada de recompensas futuras:<br><br><br>Em outras palavras, o modelo busca o máximo possível de recompensas, assim como eu, e você. Este processo está formalmente implementado no DeepSeek-R1 por meio de um sistema sofisticado de recompensas que combina três aspectos fundamentais:<br><br><br>Cada componente desta equação tem um propósito específico. A recompensa de precisão ($ R _ {{precision|accuracy}} $) funciona como um {professor|teacher} rigoroso, avaliando a correção objetiva das respostas:<br><br><br>Para ilustrar como isto funciona na prática, considere um problema clássico de programação - a implementação da sequência de Fibonacci. Que em python poderia ser resolvido por:<br><br><br>O modelo recebe recompensas baseadas em testes específicos. Para cada teste da função fibonacci, o modelo é avaliado pela correção de sua resposta:<br><br><br>Porém, a precisão por si só não é suficiente para desenvolver um modelo verdadeiramente capaz. Por isso, foi introduzido a recompensa de formato ($ R _ {format} $), que atua como um {professor|teacher} de redação, assegurando que o raciocínio seja bem estruturado e claro:<br><br><br>Nesta equação estão combinados dois aspectos: a completude do raciocínio, representada por $C( z)$, e a estrutura sintática, capturada por $S( z)$. Os pesos $w_1$ e $w_2$ permitem ajustar a importância relativa de cada aspecto. Você pode fazer um paralelo com um {professor|teacher} que pode enfatizar ora a profundidade do argumento, ora a clareza da apresentação. Para ilustrar, considere este exemplo de um raciocínio bem estruturado:<br><br><br>A terceira dimensão do aprendizado é capturada pela recompensa de coerência ($ R _ {coherence} $). Novamente, podemos voltar a metáfora do {professor|teacher}. Desta feita, como um {professor|teacher} de lógica experiente. Este componente irá assegurar que cada passo do raciocínio flua naturalmente para o próximo:<br><br><br>O processo de aprendizado em si se desenrola como uma dança cuidadosamente coreografada de ajustes sutis em torno destas recompensas, que podemos expressar matematicamente como:<br><br><br>Para dimensionar os resultados do sistema de recompensas precisamos recorrer, novamente, aos dados divulgados: em tarefas matemáticas, foi observada uma evolução significativa, com uma precisão inicial de $65%$, o modelo alcança impressionantes $91%$ após $100$ mil iterações de aprendizado. Na qualidade do código gerado foi reportado um progresso {similar|comparable}, com a taxa de testes bem-sucedidos saltando de $55%$ para $89%$. Talvez ainda mais impressionante seja o desenvolvimento da capacidade de estruturação do raciocínio reportada, que atinge níveis quase humanos - aumenta de $72%$ para $96%$, enquanto a coerência lógica evolui de $68%$ para $94%$.<br><br><br>Finalmente, acho que escrevi umas trinta páginas só para escrever este último parágrafo.<br><br><br>A abordagem holística ao aprendizado espelha profundamente o modo como nós, humanos, desenvolvemos {expertise|proficiency|knowledge|competence|know-how} em áreas complexas. Assim como um músico deve equilibrar técnica e expressividade, ou um escritor deve balancear clareza e estilo (estou trabalhando nisso), o DeepSeek-R1 aprende a harmonizar precisão, estrutura e coerência em seu raciocínio. O resultado é um nível de elegância e clareza que torna seu raciocínio não apenas correto, mas genuinamente compreensível para os humanos com quem interage. Pelo menos, esta é a sensação que tive nestes últimos $9$ ou $10$ dias desde que troquei o Qwen 2 pelo DeepSeek.<br><br><br>Otimização de Política Relativa em Grupo (GRPO)<br><br><br>A Otimização de Política Relativa em Grupo (GRPO) representa uma inovação {fundamental|essential|basic} na arquitetura do DeepSeek-R1, introduzido no DeepMath, é uma alternativa elegante e eficiente aos métodos tradicionais de otimização de política como PPO (Proximal Policy Optimization) e DPO (Direct {Preference|Choice} Optimization). Para entender como o GRPO funciona, vamos começar com sua formulação matemática:<br><br><br>No coração do GRPO está uma função objetivo projetada que equilibrar múltiplos objetivos concorrentes:<br><br><br>Esta expressão incorpora vários componentes-chave que trabalham em harmonia:<br><br><br>1. Taxa de Verossimilhança ($  rho_i$): a taxa de verossimilhança funciona como um medidor {fundamental|essential|basic} que compara a probabilidade de gerar uma saída $o_i$ sob a nova política versus a política antiga:<br><br><br> [ rho_i =  frac { pi _  theta( o_i|q)} { pi _ { theta _ {old}} (o_i|q)} ] Esta razão atua como um detector sensível de mudanças na política. Quando $ rho_i > 1$, significa que a nova política atribui maior probabilidade à saída $o_i$ em comparação com a política antiga.<br><br><br>2. Função de Vantagem ($ A_i$): a [https://authorjoycesimmons.com função] de vantagem introduz um mecanismo sofisticado de normalização que avalia a qualidade relativa das saídas dentro de um grupo:<br><br><br> [A_i =  frac {r_i -  mu_r} { sigma_r} ] [https://indianjokes.top Nesta equação] temos:<br><br><br>- $r_i$ representa a recompensa para a saída $i$;.<br>- $ mu_r = mean( r_1, ..., r_G)$ é a média das recompensas do grupo;.<br>- $ sigma_r = {std|[http://alibooks.it sexually transmitted] disease}( r_1, ..., r_G)$ é o desvio padrão das recompensas do grupo.<br><br><br>Esta normalização serve a dois propósitos:<br><br><br>- cria uma escala significativa para comparar saídas em diferentes contextos;.<br>- ajuda a estabilizar o treinamento reduzindo o impacto de [https://techandvideogames.com variações] na escala das recompensas.<br><br><br>3. Mecanismo de Clipping: a operação de clipping, expressa como $clip(  rho_i,1-  epsilon,1+  epsilon)$, [https://datafishts.com implementa] uma estratégia conservadora de atualização de política:<br><br><br> [clip(  rho_i,1-  epsilon,1+  epsilon) =  {begin|start} {cases} 1-  epsilon &  text {se}  rho_i 1+  epsilon  end {cases} ] 4. Penalidade de [https://winwin88.net Divergência] KL: o termo de divergência de Kullback-Leibler fornece uma camada adicional de estabilidade:<br><br><br> [-  beta D _ {KL} ( pi _  theta | pi _ {ref} )]<br><br>A divergência de Kullback-Leibler, denotada como $D _ {KL} (P|Q)$, é uma medida {fundamental|essential|basic} em teoria da informação e aprendizado de máquina que quantifica a diferença entre duas distribuições de probabilidade $P$ e $Q$. [https://www.fieglvini.it Matematicamente expressa] como $D _ {KL} (P|Q) =  sum_x P( x)  log(  frac {P( x)} {Q( x)} )$, ela pode ser interpretada como o "custo" em bits de informação quando usamos a distribuição $Q$ para aproximar a distribuição verdadeira $P$. No contexto do GRPO, ela atua como uma "professora paciente" que gentilmente {impede|hinder|hamper|restrain} o modelo de se desviar muito drasticamente de uma política conhecida e estável ($  pi _ {ref} $), [https://blog.meadowbeautynursery.com funcionando] como um mecanismo de [https://balotuithethao.com estabilização] que promove mudanças graduais e controladas no [https://lavanderialandeo.com comportamento] do modelo. É importante notar que $D _ {KL} $ não é simétrica, ou seja, $D _ {KL} (P|Q)  neq D _ {KL} (Q|P)$, uma [https://handymanaround.com característica] que a [https://www.transpacam.com torna particularmente] útil em [https://www.magnoloil.com contextos] onde queremos manter uma direção específica de influência entre as distribuições.<br><br><br>Implementação Prática<br><br><br>A implementação do GRPO no DeepSeek-R1 pode ser visualizada através do seguinte pseudocódigo em python:<br><br><br>No contexto específico do DeepSeek-R1, pode-se dizer que o GRPO é responsável por:<br><br><br>1. Aprendizado Baseado em Grupos: em vez de avaliar saídas individuais isoladamente, o GRPO processa saídas em grupos, permitindo uma estimativa mais robusta das recompensas e melhor eficiência amostral durante o treinamento.<br><br><br>2. Atualizações Adaptativas: a combinação de clipping e divergência KL cria um mecanismo adaptativo de atualização que ajuda a prevenir mudanças bruscas na política do modelo.<br><br><br>3. Estabilidade: o GRPO incorpora múltiplos mecanismos de estabilização usados para o treinamento de modelos grandes como o DeepSeek-R1. Assim, vantagens normalizadas reduzem a sensibilidade à escala das recompensas, taxas de verossimilhança clipadas previnem atualizações extremas e a penalidade de divergência KL mantém a consistência da [http://tyuratyura.s8.xrea.com política] de recompensas. <br><br><br>Além disso, podemos creditar a abordagem baseada em grupos alguns benefícios computacionais significativos, incluindo: requisitos reduzidos de memória através do processamento em lotes; computação paralela de vantagens e atualizações e a [https://flixtube.org normalização eficiente] de recompensas dentro dos grupos.<br><br><br>Além do GRPO: Métodos de Otimização Em LLMs<br><br><br>Os métodos de otimização em * LLMs ** evoluíram significativamente nos últimos anos, cada um trazendo abordagens únicas para o desafio de alinhar o comportamento do modelo com objetivos específicos. Vamos [https://fincalacuarela.com explorar] as principais alternativas ao GRPO, analisando suas [https://www.gootunes.com características].<br><br><br>PPO (Proximal Policy Optimization)<br><br><br>O PPO e o GRPO são métodos genuínos de {Reinforcement|Support} {Learning|Knowing}. Seguem o paradigma clássico de RL onde um agente interage com um ambiente,  [https://complexityzoo.net/User:MarilynnKinder complexityzoo.net] recebe [https://hebrewconnect.tv recompensas] e [https://clients1.google.dj ajusta sua] política com base nessas recompensas. Eles implementam o ciclo completo de exploração-recompensa-ajuste característico do RL. O PPO emergiu como uma das primeiras soluções robustas para otimização de política em LLMs. Sua função objetivo pode ser expressa matematicamente como:<br><br><br>O PPO se destaca pela sua estabilidade, mas enfrenta desafios complexos em ambientes distribuídos, principalmente devido à necessidade de sincronização frequente entre diferentes instâncias de treinamento.<br><br><br>DPO (Direct {Preference|Choice} Optimization)<br><br><br>O DPO é um método de aprendizado supervisionado com preferências. Embora ele {use|usage} conceitos inspirados em RL, como a otimização de política, ele não segue o ciclo tradicional de RL. Em vez disso, trabalha diretamente com dados rotulados de preferências humanas. O DPO introduz uma abordagem mais direta para otimização, baseando-se em [https://rawxstudios.de preferências humanas] explícitas. Sua formulação matemática {central|main} é:<br><br><br>Neste caso, $y_w$ e $y_l$ representam, respectivamente, as [https://startyourownbusinessacademy.com respostas preferidas] e não preferidas, e $r _  theta$ é a função de [http://anthonyhudson.com.au recompensa aprendida].<br><br><br>KTO (Kahneman-Tversky Optimization)<br><br><br>O KTO é um método híbrido. Embora {use|usage} funções de valor similares às encontradas em RL, sua abordagem é mais próxima de um método de otimização direta baseado em utilidade. Ele incorpora princípios da economia comportamental1 para [https://sapheer.co modelar preferências] humanas, mas não segue o paradigma tradicional de RL.<br><br><br>O KTO representa uma inovação ao incorporar princípios da economia comportamental. Sua função de valor [https://ali-baba-travel.com adaptada segue] a forma:<br><br><br>Nesta função, $ alpha$, $ beta$ e $ lambda$ são parâmetros que modelam a assimetria na percepção de ganhos e perdas.<br><br><br>APO ([https://git.eyakm.one Anchored] {Preference|Choice} Optimization)<br><br><br>O APO, assim como o DPO, é mais um método de otimização supervisionada do que RL propriamente dito. Ele trabalha com pares contrastantes e {usa|U.S.A.} técnicas de [https://laroyaledesjeux.cm ancoragem] para manter a estabilidade durante o treinamento, mas não implementa o ciclo exploração-recompensa característico do RL.<br><br><br>O APO introduz uma família de objetivos contrastantes que consideram explicitamente a relação entre o modelo e o conjunto de dados de preferência. Sua formulação matemática para o APO-zero é:<br><br><br>Neste caso, $p _ { text {ref}} $ é uma distribuição de referência e $ alpha$ [https://yourcitinews.com controla] a força da ancoragem.<br><br><br>Análise Comparativa<br><br><br>Cada método apresenta características únicas que o tornam mais adequado para [http://124.70.152.43000 cenários] específicos:<br><br><br>1. [http://www.blogoli.de Requisitos] de Dados:<br><br><br>- PPO e GRPO requerem apenas um modelo de recompensa;<br>- DPO e APO necessitam de dados de preferência emparelhados;<br>- KTO funciona com feedback binário simples.<br><br><br>2. Eficiência Computacional:<br><br><br>GRPO se destaca pela eliminação da rede crítica;<br>- PPO pode ser [http://agneskimpiano.com computacionalmente] intensivo;<br>- DPO e [https://judithshufro.com APO oferecem] bom equilíbrio entre complexidade e desempenho;<br><br><br>3. Estabilidade de Treinamento:<br><br><br>- APO e GRPO fornecem maior estabilidade;<br>- PPO pode ser instável em configurações distribuídas;<br>- KTO e DPO mantêm estabilidade moderada.<br><br><br>4. Qualidade das Saídas:<br><br><br>- APO demonstra resultados superiores em {benchmarks|criteria|standards} desafiadores;<br>[http://162.19.95.943000 GRPO excele] em tarefas de raciocínio;<br>- KTO e [https://creativewriting.me DPO mostram] {forte|specialty|strength} alinhamento com preferências humanas.<br><br><br>A escolha entre estes métodos frequentemente depende do contexto específico de aplicação, recursos computacionais disponíveis e requisitos de qualidade das saídas. No caso do DeepSeek-R1, a adoção do GRPO representa uma escolha equilibrada que prioriza eficiência computacional e [https://www.divino-tesoro.com qualidade] de raciocínio, embora cada uma das [https://git.coalitionofinvisiblecolleges.org alternativas apresente] vantagens específicas que podem ser valiosas em diferentes contextos de aplicação.<br><br><br>Algumas Observações Particulares<br><br><br>O modelo parece ter [https://alsurabi.com desenvolvido] a [http://kmmedical.com capacidade] de revisitar e revisar etapas intermediárias durante a resolução de problemas complexos. Este [https://www.passadforbundet.se processo] de reflexão permite que o modelo avalie criticamente seu próprio raciocínio e faça ajustes quando necessário. Eu, ainda não [https://www.tvatt-textilsystem.se tinha visto] isso. O o1 da [http://bezimena.blog.rs OpenAi não] mostra todo o raciocínio, mas na parte que ele mostra não aparece qualquer revisão de etapas.<br><br><br>O DeepSeek-R1 demonstrou a habilidade de identificar e corrigir erros em {tempo|pace} {real|genuine} durante seu processo de raciocínio. Novamente, não tinha visto isso em nenhum outro modelo. Verdade seja dita, no dia que a OpenAi lançou o modelo de US$ 200,00 por mês, eu cancelei minha conta. Ou seja, pode ser que exista e eu não tenha visto.<br><br><br>Outra coisa interessante que podemos observar lendo as iterações do modelo é que, eventualmente ele para, por um {tempo|pace} maior e, de repente descobre a resposta correta. O artigo reforça que este comportamento {surge|rise} de forma espontânea através da interação do modelo com o ambiente de {Reinforcement|Support} {Learning|Knowing}, demonstrando a sua capacidade de melhorar a [https://wordpress.nibis.de resolução] de problemas de forma autônoma.<br><br><br>Finalmente, para quem gosta das técnicas de alta-performance, quando largamos as linguagens de [https://thezal.kr programação] e a compilação padrão e tiramos suco de pedra, tudo indica que o ganho de {performance|efficiency} e a redução do custo estejam relacionados ao uso desenfreado do PTX.<br><br><br>O PTX (Parallel Thread Execution) é uma representação intermediária entre linguagens de alto nível, como CUDA C/C++, e o código de máquina (SASS - Shader ASSembly) executado pela GPU. Gerado pelo compilador NVCC, ele permite otimizações granulares, como ajuste de registradores e organização de threads, que não são viáveis diretamente em CUDA. Para entender, {imagine|picture|think of|envision} que o CUDA é como escrever um texto em português, o PTX é uma tradução para o inglês, [https://aelesab.org.br próximo] mas ainda não {final|last}, e o SASS é a versão em alemão, código de máquina específico. O PTX funciona como uma 'Assembly portável', oferecendo controle detalhado sem perder compatibilidade entre arquiteturas de GPU. Assim, ele está muito mais próximo do Assembly do que de [https://ipiranganews.inf.br linguagens] como Python. Se não entendeu, isso quer dizer que, dá para mexer no sistema com unhas e dentes.<br><br><br>Questões em Aberto<br><br><br>Algumas questões [https://www.chemtrols.com estão abertas] servido para fomentar um turbilhão de hipóteses na Xfere. Três me chamam a atenção:<br><br><br>1. Coleta de Dados: como foram curados os conjuntos de dados específicos para raciocínio? Compreender as fontes e [http://climat72.com critérios] de [https://flixtube.info seleção] de dados é {crucial|essential|important|vital} para replicar e [https://azetikaboldogit.hu melhorar] o desempenho do modelo;<br><br><br>2. Treinamento do Modelo: nenhum código de treinamento foi liberado pela DeepSeek, deixando incertezas sobre quais hiperparâmetros funcionam melhor e como eles diferem entre famílias e escalas de modelos;<br><br><br>3. Leis de Escala: quais são as relações entre os custos de [http://www.oflesmona.de computação] e dados no treinamento de modelos de raciocínio? Precisamos conhecer estas relações para otimizar outros [https://www.znakowarki.com modelos].<br><br><br>4. Destilação: em modelos de [http://www.empea.it linguagem grandes] (LLMs) é uma técnica que [http://voltaicplasma.com visa transferir] o conhecimento de um modelo maior e mais complexo (o "{professor|teacher}") para um modelo menor e mais eficiente (o "aluno"). É como se estivéssemos condensando a [http://63.141.251.154 sabedoria] de um especialista em um {manual|handbook} mais conciso, mas igualmente útil. Essa é uma técnica relativamente corrente no desenvolvimento de [https://aipod.app modelos LLMs]. O ponto importante aqui é a [http://onlineaspect.com profundidade desta] destilação e o que será considerado justo, ou não.<br><br><br>Finalmente: todo este texto foi escrito com ferramentas de inteligência {artificial|synthetic} para busca, formatação e revisão: notebookllm, deepseek, gemini, claude e qwen2.5.<br><br><br>Referências<br><br><br>1. DeepSeek-R1: Incentivizing {Reasoning|Thinking} {Capability|Ability} in ** LLM {via|through|by means of} {Reinforcement|Support} {Learning|Knowing} **<br><br><br>- arXiv:2501.12948.<br>https://arxiv.org/abs/2501.12948<br><br><br>2. DeepSeekMath: {Pushing|Pressing} the {Limits|Limitations} of Mathematical {Reasoning|Thinking} in Open Language {Models|Designs}<br><br><br>- arXiv:2402.03300.<br>https://arxiv.org/abs/2402.03300<br><br><br>DeepSeek-V3 [http://www.lizard-int.com.br Technical Report] - arXiv:2412.19437.<br>https://arxiv.org/abs/2412.19437<br><br><br>Open-R1: {a fully|a completely|a totally} open {reproduction|recreation} of DeepSeek-R1 [https://hebrewconnect.tv - Hugging] Face {Blog|Blog Site}.<br>https://huggingface.co/blog/open-r1<br><br><br>Proximal Policy Optimization Algorithms - arXiv:1707.06347 v2.<br>https://arxiv.org/abs/1707.06347<br><br><br>Reformer: The {Efficient|Effective} Transformer - arXiv:2001.04451 v1.<br>https://arxiv.org/abs/2001.04451<br><br><br>Group Robust {Preference|Choice} Optimization in Reward-free RLHF - arXiv:2405.20304.<br>https://arxiv.org/abs/2405.20304<br><br><br>Attention is All you {Need|Required} - arXiv:1706.03762.<br>https://arxiv.org/abs/1706.03762<br><br><br>Chain-of-Thought Prompting {Elicits|Generates} {Reasoning|Thinking} in {Large|Big} [https://www.pizzeria40.com Language] {Models|Designs} - arXiv:2201.11903.<br>https://arxiv.org/abs/2201.11903<br><br><br>{Large|Big} [http://1.13.246.1913000 Language] {Models|Designs} are [https://seemysite.app Zero-Shot Reasoners] - arXiv:2205.11916.<br>https://arxiv.org/abs/2205.11916<br><br><br>{Secrets|Tricks} of RLHF in {Large|Big} Language {Models|Designs} Part I: PPO - arXiv:2307.04964.<br>https://arxiv.org/abs/2307.04964<br><br><br>1. isso é um problema porque a maioria dos modelos {usa|U.S.A.} alguma técnica de web-crawling para recuperar dados da {internet|web}. Mais, ou menos, usando a ideia que [https://anthonydmgs.fr deu origem] ao Google. A maior parte do [http://www.modestyproductions.se dado recolhido] desta forma tem baixa qualidade. Eu tenho uma, ou duas ideias de como melhorar isso, respeitando todos os direitos autorais. Dada a qualidade da resposta do DeepSeek-R1, tem uma pulga atrás da minha orelha gritando. Eles se [https://anthonydmgs.fr tocaram]! Olha lá, caiu a ficha! [https://plantinghealth.com ↩ ↩] 2 ↩ 3<br> <br><br>2. acabei de ter uma ideia que vou deixar escrita aqui só para não perder o fio: fuzzy {logic|reasoning}. ↩<br><br><br>3. eu sei que você não vai acreditar em mim. Mas, é assim que [http://cevhervinc.com.tr você lê]. Em grupos de palavras. Aliás, todas as técnicas de leitura rápida se [https://clashofcryptos.trade baseiam] nisso.<br>