AI x Crypto: Do zero ao auge

O setor de IA desenvolveu-se rapidamente recentemente, sendo visto por alguns como a quarta revolução industrial. O surgimento de grandes modelos melhorou significativamente a eficiência em vários setores, com estimativas de que o GPT aumentou a eficiência do trabalho nos Estados Unidos em cerca de 20%. Ao mesmo tempo, a capacidade de generalização trazida pelos grandes modelos é considerada um novo paradigma de design de software; no passado, o design de software era composto por códigos precisos, enquanto agora é mais comum integrar estruturas de grandes modelos generalizados no software, o que proporciona melhor desempenho e suporte a modos mais amplos. A tecnologia de aprendizado profundo realmente trouxe uma nova onda de prosperidade para o setor de IA, e essa onda também se espalhou para o setor de criptomoedas.

Este relatório irá explorar detalhadamente a trajetória de desenvolvimento da indústria de IA, as categorias tecnológicas e o impacto da tecnologia de aprendizado profundo na indústria. Em seguida, analisaremos a situação atual e as tendências do desenvolvimento da cadeia industrial upstream e downstream, incluindo GPU, computação em nuvem, fontes de dados e dispositivos de borda em aprendizado profundo. Por fim, discutiremos essencialmente a relação entre criptomoeda e a indústria de IA, organizando o padrão da cadeia industrial de IA relacionada à criptomoeda.

História do desenvolvimento da indústria de IA

A indústria de IA começou na década de 1950, e para realizar a visão da inteligência artificial, o meio acadêmico e a indústria desenvolveram várias correntes que realizam a inteligência artificial em diferentes épocas e contextos disciplinares.

As tecnologias modernas de inteligência artificial utilizam principalmente o termo "aprendizagem de máquina", cuja ideia é permitir que as máquinas melhorem o desempenho do sistema por meio da iteração repetida em tarefas com base em dados. Os principais passos incluem inserir dados no algoritmo, treinar o modelo com os dados, testar e implantar o modelo, e usar o modelo para realizar tarefas de previsão automatizada.

Atualmente, a aprendizagem automática tem três principais correntes: o conexionismo, o simbolismo e o behaviorismo, que imitam, respetivamente, o sistema nervoso humano, o pensamento e o comportamento.

Atualmente, o conexionismo, representado por redes neurais, está em ascensão ( também conhecido como aprendizado profundo ), a principal razão é que essa arquitetura possui uma camada de entrada, uma camada de saída, mas várias camadas ocultas. Uma vez que o número de camadas e o número de neurônios ( parâmetros ) sejam suficientes, há oportunidades suficientes para ajustar tarefas complexas e gerais. Através da entrada de dados, pode-se ajustar continuamente os parâmetros dos neurônios, e após várias iterações de dados, esse neurônio atingirá seu estado ótimo ( parâmetros ), que também é a origem do termo "profundo" - um número suficiente de camadas e neurônios.

Por exemplo, pode ser entendido simplesmente como a construção de uma função, onde a função tem como entrada X=2 e Y=3; X=3 e Y=5. Se quisermos que essa função atenda a todos os X, precisaremos continuamente adicionar o grau dessa função e seus parâmetros. Por exemplo, uma função que satisfaz essa condição pode ser Y = 2X - 1, mas se houver um dado onde X=2 e Y=11, será necessário reconstruir uma função que se adapte a esses três pontos de dados. Usando GPU para força bruta, descobrimos que Y = X² - 3X + 5 é mais apropriado, mas não precisa coincidir completamente com os dados, apenas deve respeitar o equilíbrio e produzir saídas aproximadamente semelhantes. Aqui, X², X e X₀ representam diferentes neurônios, enquanto 1, -3 e 5 são seus parâmetros.

Neste momento, se introduzirmos uma grande quantidade de dados na rede neural, podemos aumentar os neurônios e iterar os parâmetros para ajustar os novos dados. Desta forma, conseguiremos ajustar todos os dados.

A tecnologia de aprendizado profundo baseada em redes neurais também passou por várias iterações e evoluções, como as redes neurais mais antigas, redes neurais feedforward, RNN, CNN, GAN, até evoluir para os modernos grandes modelos como o GPT, que usam a tecnologia Transformer. A tecnologia Transformer é apenas uma direção de evolução das redes neurais, adicionando um conversor ( Transformer ), que serve para codificar dados de todos os modos (, como áudio, vídeo, imagens, etc., em valores correspondentes para representação. Em seguida, esses dados são inseridos na rede neural, permitindo que a rede neural ajuste qualquer tipo de dado, ou seja, realizando multimodalidade.

O desenvolvimento da IA passou por três ondas tecnológicas. A primeira onda ocorreu na década de 60 do século XX, uma década após a proposta da tecnologia de IA. Esta onda foi provocada pelo desenvolvimento da tecnologia do simbolismo, que resolveu problemas de processamento de linguagem natural e diálogo homem-máquina. Nesse mesmo período, os sistemas especialistas nasceram, como o sistema especialista DENRAL, desenvolvido por algumas instituições, que possui um conhecimento químico muito forte e é capaz de inferir respostas semelhantes às de um especialista em química através de perguntas. Este sistema especialista em química pode ser visto como a combinação de um banco de dados de conhecimento químico e um sistema de inferência.

Após os sistemas especialistas, na década de 1990, cientistas propuseram as redes bayesianas, que também são conhecidas como redes de crença. Na mesma época, Brooks apresentou a robótica baseada em comportamentos, marcando o nascimento do behaviorismo.

Em 1997, a Deep Blue de uma empresa de tecnologia derrotou o campeão mundial de xadrez Kasparov por 3.5:2.5, uma vitória considerada um marco para a inteligência artificial, trazendo um novo auge no desenvolvimento da tecnologia de IA.

A terceira onda da tecnologia de IA ocorreu em 2006. Os três gigantes do aprendizado profundo, Yann LeCun, Geoffrey Hinton e Yoshua Bengio, propuseram o conceito de aprendizado profundo, um algoritmo que utiliza redes neurais artificiais como arquitetura para realizar o aprendizado de representações dos dados. Posteriormente, os algoritmos de aprendizado profundo evoluíram gradualmente, desde RNN, GAN até Transformer e Stable Diffusion, esses algoritmos moldaram conjuntamente essa terceira onda tecnológica, que também é o auge do conexionismo.

Muitos eventos icônicos também surgiram gradualmente com a exploração e evolução da tecnologia de aprendizado profundo, incluindo:

• Em 2011, o sistema de uma empresa de tecnologia venceu humanos e conquistou o campeonato no programa de perguntas e respostas "Danger Zone" )Jeopardy(.

• Em 2014, Goodfellow propôs a GAN) Rede Adversarial Generativa, Generative Adversarial Network(, que aprende gerando imagens que parecem reais, através da competição entre duas redes neurais. Ao mesmo tempo, Goodfellow também escreveu um livro intitulado "Deep Learning", conhecido como o livro das flores, que é um dos livros introdutórios importantes na área de aprendizado profundo.

• Em 2015, Hinton e outros propuseram um algoritmo de aprendizado profundo na revista "Nature", cuja introdução gerou uma enorme repercussão no meio acadêmico e na indústria.

• Em 2015, uma empresa de inteligência artificial foi criada, e várias personalidades conhecidas anunciaram um investimento conjunto de 1 bilhão de dólares.

• Em 2016, o AlphaGo, baseado em tecnologia de aprendizado profundo, competiu contra o campeão mundial de Go e jogador profissional de 9 dan, Lee Sedol, vencendo por um placar total de 4 a 1.

• Em 2017, uma empresa desenvolveu o robô humanoide Sophia, que foi chamado de o primeiro robô na história a obter cidadania plena, possuindo uma ampla gama de expressões faciais e capacidade de compreensão da linguagem humana.

• Em 2017, uma empresa com uma rica reserva de talentos e tecnologia na área de inteligência artificial publicou o artigo "Attention is all you need" que introduziu o algoritmo Transformer, e os modelos de linguagem em larga escala começaram a surgir.

• Em 2018, uma empresa lançou o GPT)Generative Pre-trained Transformer(, construído com base no algoritmo Transformer, que era um dos maiores modelos de linguagem da época.

• Em 2018, uma equipe de uma empresa lançou o AlphaGo baseado em aprendizado profundo, capaz de prever a estrutura de proteínas, sendo considerado um grande marco no campo da inteligência artificial.

• Em 2019, uma empresa lançou o GPT-2, que possui 1,5 bilhões de parâmetros.

• Em 2020, uma empresa desenvolveu o GPT-3, que possui 175 bilhões de parâmetros, 100 vezes mais do que a versão anterior GPT-2. O modelo foi treinado com 570GB de texto e pode alcançar desempenho de ponta em várias tarefas de NLP), como responder perguntas, tradução e redação de artigos(.

• Em 2021, uma empresa lançou o GPT-4, que possui 1,76 trilião de parâmetros, sendo 10 vezes mais do que o GPT-3.

• A aplicação ChatGPT baseada no modelo GPT-4 foi lançada em janeiro de 2023, e em março o ChatGPT alcançou cem milhões de utilizadores, tornando-se a aplicação que atingiu mais rapidamente cem milhões de utilizadores na história.

• Em 2024, uma empresa lançou o GPT-4 omni.

![Novato Esclarecimento丨AI x Crypto: Do Zero ao Topo])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Cadeia de Indústria de Aprendizado Profundo

Atualmente, os grandes modelos de linguagem utilizam métodos de aprendizado profundo baseados em redes neurais. Liderados pelo GPT, os grandes modelos geraram uma onda de entusiasmo pela inteligência artificial, atraindo muitos jogadores para este campo. Também constatamos que a demanda do mercado por dados e poder computacional está explodindo. Portanto, nesta parte do relatório, exploramos principalmente a cadeia industrial dos algoritmos de aprendizado profundo, como são compostidos os setores upstream e downstream na indústria de IA dominada por algoritmos de aprendizado profundo, e qual é a situação atual e a relação de oferta e demanda, bem como o futuro desenvolvimento.

Primeiro, precisamos esclarecer que, ao realizar o treinamento de grandes modelos LLMs, liderados pelo GPT, baseado na tecnologia Transformer, são divididos em três etapas.

Antes do treinamento, como é baseado em Transformer, o conversor precisa transformar a entrada de texto em valores numéricos, esse processo é chamado de "Tokenization". Após isso, esses valores são chamados de Token. Sob uma regra geral, uma palavra ou caractere em inglês pode ser aproximadamente considerado como um Token, enquanto cada caractere chinês pode ser aproximadamente considerado como dois Tokens. Esta também é a unidade básica utilizada para a precificação do GPT.

Primeiro passo, pré-treinamento. Ao fornecer ao nível de entrada um número suficiente de pares de dados, semelhante ao exemplo mencionado na primeira parte do relatório )X,Y(, para encontrar os melhores parâmetros para cada neurônio sob este modelo, é necessário um grande volume de dados neste momento, e esse processo também é o que mais consome poder computacional, pois os neurônios tentam várias parâmetros repetidamente. Após completar o treinamento de um lote de pares de dados, geralmente usa-se o mesmo lote de dados para um segundo treinamento para iterar os parâmetros.

O segundo passo, ajuste fino. O ajuste fino consiste em fornecer um conjunto de dados menor, mas de qualidade muito alta, para treinamento; essa mudança fará com que a saída do modelo tenha uma qualidade superior, pois o pré-treinamento requer uma grande quantidade de dados, mas muitos dados podem conter erros ou baixa qualidade. O passo de ajuste fino pode melhorar a qualidade do modelo por meio de dados de alta qualidade.

O terceiro passo, aprendizado por reforço. Primeiro, será criado um modelo totalmente novo, que chamamos de "modelo de recompensa". O objetivo deste modelo é muito simples: classificar os resultados da saída, portanto, implementar este modelo será relativamente simples, pois o cenário de negócios é bastante vertical. Depois, usamos este modelo para determinar se a saída do nosso grande modelo é de alta qualidade, assim podemos usar um modelo de recompensa para iterar automaticamente os parâmetros do grande modelo. ) No entanto, às vezes também é necessário a participação humana para avaliar a qualidade da saída do modelo (.

Em resumo, durante o processo de treinamento de grandes modelos, o pré-treinamento tem uma exigência muito alta em relação à quantidade de dados, e a potência computacional necessária de GPU também é a maior. Por outro lado, o ajuste fino requer dados de maior qualidade para melhorar os parâmetros, enquanto o aprendizado por reforço pode iterar os parâmetros repetidamente através de um modelo de recompensa para produzir resultados de maior qualidade.

Durante o processo de treinamento, quanto mais parâmetros houver, maior será o teto da sua capacidade de generalização. Por exemplo, no caso da função Y = aX + b, na verdade temos dois neurônios X e X0. Portanto, como os parâmetros mudam, os dados que podem ser ajustados são extremamente limitados, porque sua essência ainda é uma linha reta. Se houver mais neurônios, mais parâmetros poderão ser iterados, o que permitirá ajustar mais dados. Esta é a razão pela qual grandes modelos produzem milagres e também é por isso que o nome comum é "grande modelo"; a essência é uma quantidade enorme de neurônios, parâmetros e dados, ao mesmo tempo que requer uma quantidade enorme de poder computacional.

Portanto, o desempenho de grandes modelos é principalmente determinado por três aspectos: o número de parâmetros, a quantidade e a qualidade dos dados, e a capacidade de computação. Esses três fatores afetam conjuntamente a qualidade dos resultados do grande modelo e a sua capacidade de generalização. Suponhamos que o número de parâmetros seja p, a quantidade de dados seja n) calculada em termos de quantidade de Tokens(, então podemos calcular a quantidade de computação necessária através de uma regra geral, permitindo assim estimar a capacidade de computação que precisamos adquirir e o tempo de treinamento.

A capacidade de computação é geralmente medida em Flops, que representa uma operação de ponto flutuante. A operação de ponto flutuante é um termo genérico para adição, subtração, multiplicação e divisão de números não inteiros, como 2.5 + 3.557. O ponto flutuante indica a capacidade de incluir casas decimais, enquanto FP16 representa a precisão que suporta casas decimais, e FP32 é uma precisão mais comum. De acordo com a regra prática, o pré-treinamento )Pre-traning( uma vez ) geralmente treina múltiplas vezes ( um grande modelo, que requer cerca de 6np Flops, sendo 6 conhecido como constante da indústria. E a inferência )Inference é o processo em que inserimos um dado e aguardamos a saída do grande modelo (, dividido em duas partes: a entrada de n tokens e a saída.