Apresentando o AI Inference da Azion para soluções de AI

Uma nova era para implementações de AI

Anunciamos hoje o lançamento do AI Inference da Azion, nosso produto que traz flexibilidade de modelos e eficiência de custo para soluções de inteligência artificial (IA), permitindo que as empresas construam e adaptem facilmente aplicações impulsionadas por AI para atender a necessidades em evolução. À medida que os modelos de AI se tornam cada vez mais sofisticados e as empresas demandam insights em tempo real, a maneira como você implementa e executa esses modelos se torna criticamente importante. O AI Inference transforma como as organizações implementam a AI em escala, permitindo que elas sejam executadas mais próximas aos usuários finais.

O Azion AI Inference combina inteligência artificial com edge computing, permitindo que modelos de AI sejam executados na infraestrutura da Azion — próximo às fontes de dados e usuários — em vez de em data centers de cloud distantes. Essa abordagem oferece várias vantagens, como redução de latência, melhoria das capacidades de processamento em tempo real e aprimoramento geral do desempenho das aplicações, mantendo a privacidade dos dados e reduzindo o consumo de banda.

Por que implementaçöes de AI na cloud tradicional deixam a desejar

Os modelos modernos de AI, como Visual Language Models (VLMs) e Large Language models (LLMs), enfrentam desafios significativos quando implementados em ambientes tradicionais de cloud, tornando difícil atender às necessidades de aplicações time-sensitive. Embora esses modelos tenham evoluído para serem executados mais rapidamente, a distância inerente entre os usuários e os data centers na cloud ainda causa problemas inevitáveis de latência, pois as requisições precisam viajar até servidores remotos para processamento antes de retornar aos usuários.

As soluções de AI baseadas em cloud sofrem com implementação e gerenciamento complexos baseados em contêineres, além de desempenho imprevisível devido a restrições de largura de banda, distâncias geográficas e contenção de recursos. Isso é problemático para todos os tipos de aplicações, especialmente as time-sensitive, como detecção de fraudes, que exigem atualizações contínuas e respostas rápidas e consistentes.

Por último, mas não menos importante, os custos de cloud são bem conhecidos como um problema-chave a ser abordado em qualquer aplicação projetada para escalar.

AI Inference: transformando a implementação de AI

O AI Inference aborda esses desafios fundamentais trazendo a computação de AI diretamente para uma rede globalmente distribuída. Nossa solução permite:

Recursos abrangentes de AI no edge

Com o Azion AI Inference, você pode executar um ecossistema diversificado de modelos de AI em nossa rede altamente distribuída. Nossa plataforma suporta:

• Large Language Models (LLMs)
• Vision Language Models (VLMs)
• Arquiteturas multimodais
• Modelos de embedding
• Modelos de reranking

E mais-tudo funcionando com latência mínima. Leia a documentação de nosso Runtime para mais informações.

Além da execução de modelos, o AI Inference permite fluxos de trabalho avançados de AI, incluindo raciocínio, conversões de áudio, texto e imagem, bem como recursos de chamada de ferramentas (tool calling). A plataforma suporta personalização de modelos através de Low-Rank Adaptation (LoRA), permitindo que você ajuste modelos para suas necessidades de negócio específicas. Todos esses recursos são integrados às suas edge applications, sendo executados inteiramente no edge, eliminando as barreiras de desempenho das implementações tradicionais em cloud.

Recursos de agentes

Construa e implemente agentes de AI usando modelos que suportam Tool Calling e Agentic RAG por meio de busca vetorial. O AI Inference oferece suporte completo ao framework LangGraph do LangChain, fornecendo ferramentas completas para construir, monitorar e avaliar agentes de AI complexos. Esses agentes podem automatizar processos, criar assistentes e implementar arquiteturas RAG avançadas, tudo funcionando mais próximo do usuário para um desempenho ideal.

Integração com Edge SQL

O AI Inference trabalha com Edge SQL para recursos de dados:

• Edge SQL com suporte a Vetores permite consultas semânticas no edge da rede.
• Hybrid Search combina pesquisa de texto completo e vetorial para resultados mais precisos e contextualmente relevantes.
• Implementações eficientes de RAG que aproveitam informações textuais e semânticas.

Esta integração cria uma plataforma abrangente para construir aplicações inteligentes e responsivas que operam junto aos seus usuários.

Compatibilidade com padrões da indústria

Nosso produto AI Inference suporta integração com:

• APIs compatíveis com OpenAI, permitindo migração fácil de aplicações existentes.
• Frameworks LangChain/LangGraph.

Este suporte garante que você possa aproveitar seu conhecimento e ferramentas existentes, ao mesmo tempo em que obtém os benefícios de desempenho da implementação no edge. Leia mais na documentação de referência do produto.

O que vem por aí

Criamos uma plataforma que permite a implementação de aplicações de AI econômicas, verdadeiramente responsivas, eficientes e escaláveis, lidando com as principais limitações das abordagens baseadas em cloud.

Pronto para experimentar a vantagem do edge? Converse com nossos especialistas hoje!. Estamos aqui para ajudá-lo em sua jornada de AI.