Hugging Face, um dos maiores nomes do aprendizado de máquina, está investindo US$ 10 milhões em GPUs compartilhadas gratuitas para ajudar os desenvolvedores a criar novas tecnologias de IA. O objetivo é ajudar pequenos desenvolvedores, acadêmicos e startups a combater a centralização dos avanços da IA.
“Temos sorte de estar em uma posição onde podemos investir na comunidade”, disse o CEO da Hugging Face, Clem Delangue. A beira. Delangue disse que o investimento é possível porque a Hugging Face é “lucrativa, ou quase lucrativa” e recentemente levantou US$ 235 milhões em financiamento, avaliando a empresa em US$ 4,5 bilhões.
Delangue está preocupado com a capacidade das startups de IA de competir com os gigantes da tecnologia. Os avanços mais significativos na inteligência artificial – como o GPT-4, os algoritmos por trás da Pesquisa Google e o sistema Full Self-Driving da Tesla – permanecem ocultos dentro dos limites das grandes empresas de tecnologia. Estas empresas não só são financeiramente incentivadas a manter os seus modelos proprietários, como também, com milhares de milhões de dólares à sua disposição para recursos computacionais, podem aumentar esses ganhos e correr à frente dos concorrentes, impossibilitando o acompanhamento das startups.
“Se você acabar com algumas organizações que dominam demais, será mais difícil combatê-las mais tarde.”
Hugging Face visa tornar as tecnologias de IA de última geração acessíveis a todos, não apenas aos gigantes da tecnologia. Falei com Delangue durante o Google I/O, a principal conferência do gigante da tecnologia, onde os executivos do Google revelaram vários recursos de IA para seus produtos proprietários e até mesmo uma família de modelos de código aberto chamada Gemma. Para Delangue, a abordagem proprietária não é o futuro que ele imagina.
“Se você seguir o caminho do código aberto, você irá em direção a um mundo onde a maioria das empresas, a maioria das organizações, a maioria das organizações sem fins lucrativos, os legisladores, os reguladores, também podem realmente fazer IA. Então, de uma forma muito mais descentralizada, sem muita concentração de poder, o que, na minha opinião, é um mundo melhor”, disse Delangue.
Como funciona
O acesso à computação representa um desafio significativo na construção de grandes modelos de linguagem, muitas vezes favorecendo empresas como OpenAI e Anthropic, que garantem acordos com fornecedores de nuvem para recursos computacionais substanciais. Hugging Face visa nivelar o campo de jogo doando essas GPUs compartilhadas à comunidade por meio de um novo programa chamado ZeroGPU.
As GPUs compartilhadas são acessíveis a vários usuários ou aplicativos simultaneamente, eliminando a necessidade de cada usuário ou aplicativo ter uma GPU dedicada. ZeroGPU estará disponível através do Hugging Face’s Spaces, uma plataforma de hospedagem para publicação de aplicativos, que possui mais de 300.000 demonstrações de IA criadas até agora em CPU ou GPU paga, segundo a empresa.
“É muito difícil conseguir GPUs suficientes dos principais provedores de nuvem”
O acesso às GPUs compartilhadas é determinado pelo uso, portanto, se uma parte da capacidade da GPU não for utilizada ativamente, essa capacidade ficará disponível para uso por outra pessoa. Isso os torna econômicos, eficientes em termos energéticos e ideais para utilização em toda a comunidade. ZeroGPU usa dispositivos GPU Nvidia A100 para alimentar esta operação – que oferecem cerca de metade da velocidade de computação dos populares e mais caros H100s.
“É muito difícil conseguir GPUs suficientes dos principais provedores de nuvem, e a maneira de obtê-las – o que está criando uma grande barreira à entrada – é comprometer-se com números muito grandes por longos períodos de tempo”, disse Delangue.
Normalmente, uma empresa se comprometeria com um provedor de nuvem como a Amazon Web Services por um ou mais anos para proteger os recursos da GPU. Este acordo prejudica pequenas empresas, desenvolvedores independentes e acadêmicos que constroem em pequena escala e não podem prever se seus projetos ganharão força. Independentemente do uso, eles ainda terão que pagar pelas GPUs.
“Também é um pesadelo de previsão saber quantas GPUs e que tipo de orçamento você precisa”, disse Delangue.
A IA de código aberto está se atualizando
Com a IA avançando rapidamente a portas fechadas, o objetivo do Hugging Face é permitir que as pessoas construam mais tecnologia de IA abertamente.
“Se acabarmos com algumas organizações que dominam demais, será mais difícil combatê-las mais tarde”, disse Delangue.
Andrew Reed, engenheiro de aprendizado de máquina da Hugging Face, até criou um aplicativo que visualiza o progresso de LLMs proprietários e de código aberto ao longo do tempo, conforme pontuado pelo LMSYS Chatbot Arena, que mostra a lacuna entre os dois se aproximando.
Mais de 35.000 variações do modelo de IA de código aberto Llama do Meta foram compartilhadas no Hugging Face desde a primeira versão do Meta há um ano, variando de “modelos quantizados e mesclados a modelos especializados em biologia e mandarim”, de acordo com a empresa.
“A IA não deve ser mantida nas mãos de poucos. Com este compromisso com os desenvolvedores de código aberto, estamos entusiasmados em ver o que todos irão preparar no espírito de colaboração e transparência”, disse Delangue em um comunicado à imprensa.
theverge