Crédito da imagem: TechCrunch
Acusação de cópia e uso de chips proibidos envolvendo empresa chinesa Moonshot
O conselheiro científico da Casa Branca, Michael Kratsios, afirmou que a empresa chinesa Moonshot, responsável pelo modelo Kimi K3 — o maior LLM open-weight disponível — teria desenvolvido seu sistema replicando o Fable LLM da Anthropic, além de utilizar chips que não são autorizados para exportação para o país asiático.
“A extração em larga escala e furtiva de tecnologia proprietária dos EUA, com o intuito de deficiência a pesquisa norte-americana, é inaceitável”, escreveu Kratsios em uma publicação, em meio a debates sobre possíveis restrições ao uso de modelos open-weight chineses, que geraram questionamentos no setor de inteligência artificial. A Moonshot não respondeu às perguntas sobre seu processo de treinamento e Kratsios não divulgou detalhes adicionais sobre as fontes de suas acusações.
Comentários do Tesouro dos EUA
Kratsios reforçou sua crítica com as declarações do secretário do Tesouro, Scott Bessent, que destacou a presença de “marcas d’água” de modelos norte-americanos em diversos sistemas chineses. No entanto, o Departamento do Tesouro não respondeu sobre o conteúdo dessas marcas.
Especialistas, porém, questionar se a técnica de destilação — processo que envolve interrogar um LLM para replicar seus recursos — é suficiente para explicar os avanços apresentados no Kimi K3. “É evidente que um modelo tão poderoso tenha sido desenvolvido rapidamente apenas com distilação, especialmente considerando que o Fable só foi disponibilizado publicamente em 1º de julho”, afirmou Braden Hancock, pesquisador do Laude Institute.
Dúvidas sobre métodos de treinamento
Nathan Lambert, pesquisador do Allen Institute for AI, ressaltou que a destilação tem se tornado menos relevante com o avanço dos modelos chineses e a migração para técnicas como aprendizado por reforço. “Se a destilação fosse eficaz, todos poderiam replicar facilmente os modelos GLM ou K3 usando seus dados”, disse ele em um podcast divulgado recentemente.
A destilação exige que os laboratórios consultem modelos-alvo para gerar dados usados no treinamento pós-inicial. Em alguns casos, isso envolve obter explicações detalhadas do modelo sobre sua lógica de resolução de problemas. Outras vezes, os prompts e respostas são usados para treinar novos modelos por meio da técnica de ajuste fino supervisionado.
Lambert explicou que o processo de ajuste fino é responsável por “ensinar” as características específicas dos modelos, como a identidade de um sistema como o de Claude. No entanto, ele destacou que, com modelos mais complexos, essa etapa se torna menos crítica. Técnicas avançadas, como aprendizado por reforço, bloqueiam a infraestrutura maior e podem ser caras ou lentas.
Alegações de Antrópico
A Anthropic acusou a Moonshot, junto com outras empresas chinesas, de ter realizado destilações sistemáticas de seus modelos no ano passado. A empresa revelou que acordos milhões de interações entre seus sistemas e usuários nas organizações acusadas por meio de endereços IP e outros dados. Esses acessos foram considerados “diferentes do uso normal”, estabelecendo uma tentativa deliberada de extrair capacidades.
A prática, porém, não é exclusiva da China. Elon Musk afirmou anteriormente que a SpaceXAI utilizou modelos da OpenAI para treinar o Grok, e outras empresas também adotam técnicas semelhantes. A fronteira entre destilação e criação de conjuntos de dados sintéticos pode ser ambígua.
Contexto sobre chips proibidos
Além das acusações de cópia, Kratsios alega que a Moonshot teria obtido chips Nvidia Grace Blackwell 300 e servidores fornecidos com esses componentes em Tailândia. Esses chips estão sob restrições comerciais para exportação para a China, segundo mas persiste um mercado negro, disse Sam Bresnick, pesquisador da Universidade de Georgetown.
Bresnick defende regras mais rigorosas para identificação de clientes em centros de dados globais. “Se uma empresa está realizando treinamentos massivos com hardware avançado, deve haver mecanismos para registrar sua identidade e objetivos”, afirmou.
O Departamento do Comércio dos EUA propôs regras de “know your customer” para centros de dados em 2024, mas não há avanços significativos sob a administração Trump. Exportadores de chips avançados são obrigados a garantir que seus produtos sejam usados apenas para os fins autorizados.
Com informações do Techcrunch
