Como implementar o template AI Inference Starter Kit

O template AI Inference Starter Kit contém as configurações para criar uma application com APIs compatíveis com OpenAI, funcionando diretamente na rede distribuída da Azion. Este template simplifica o processo de implementação de modelos de AI no edge, eliminando dependências de origem e permitindo que você desenvolva aplicações inteligentes com rapidez.

A implementação deste template cria uma application com uma function e um domínio para facilitar seu acesso e gerenciamento através da Azion Web Platform.

Requisitos

• O template usa Application Accelerator, Functions e AI Inference. Isso pode gerar custos relacionados ao uso. Consulte a página de preços para mais informações.

Implante o template

1. Acesse o console da Azion.
2. Clique no botão + Create para abrir a página de templates.
3. Selecione o template AI Inference Starter Kit.
4. Na página do template, digite um nome para sua aplicação e clique em Deploy.
5. Aguarde a aplicação estar disponível no domínio your-url.map.azionedge.net (ou seu domínio personalizado).
6. Interaja com o modelo via endpoint OpenAI-compatível da sua aplicação.

Durante a implementação, você poderá acompanhar o processo através de uma janela que mostra os logs. Quando estiver completo, a página mostra informações sobre a aplicação e algumas opções para continuar sua jornada.

Gerencie o template

Considerando que essa configuração inicial pode não ser ótima para sua application específica, todas as configurações podem ser personalizadas a qualquer momento que você precise, usando a plataforma da Azion.

Atualize a function

Siga esses passos para atualizar a function de acordo com suas necessidades:

1. Acesse o Azion Console.
2. No canto superior esquerdo, selecione Products menu, o ícone de três linhas horizontais, > Functions.
3. Encontre a function relacionada ao seu template e selecione-a. Ela terá o mesmo nome da sua application.
   • A lista está organizada alfabeticamente. Você também pode usar a barra de busca localizada no canto superior esquerdo da lista; atualmente, ela filtra apenas pelo campo Function Name.
4. Na página da function, use as abas para configurar sua função.
   • Na aba Main Settings, você pode renomear a função e alterar algumas configurações básicas.
   • Na aba Code, você pode atualizar o código da função.
   • Na aba Arguments, você pode definir os argumentos usados pela função.
5. Clique no botão Save para salvar suas alterações.

O exemplo de código abaixo inclui uma function simples pronta para ser executada. Essa função recebe uma requisição POST para o modelo de AI desejado e retorna a resposta.

const modelResponse = await Azion.AI.run("Qwen/Qwen3-30B-A3B-Instruct-2507-FP8", {
  "stream": true,
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": "Name the european capitals"
    }
  ]
})
return modelResponse

Este exemplo usa o modelo Qwen3. Você pode alterar o modelo e os parâmetros da requisição de acordo com suas preferências. Verifique a referência de modelos de AI para obter mais informações sobre os modelos disponíveis e como usá-los em sua aplicação.

Gerencie a application

Para gerenciar e editar as configurações da sua application, siga esses passos:

1. Acesse o Azion Console.
2. No canto superior esquerdo, selecione Products Menu, o ícone de três linhas horizontais, > Applications.
   • Você será redirecionado para a página Applications. Ela lista todas as applications que você criou.
3. Encontre a application relacionada ao seu template e selecione-a.
   • A lista está organizada alfabeticamente. Você também pode usar a barra de busca localizada no canto superior esquerdo da lista; atualmente, ela filtra apenas pelo campo Application Name.

Depois de selecionar a application que você trabalhará, você será direcionado para uma página contendo todas as configurações que você pode ajustar.

Adicione um domínio personalizado

A application criada durante a implementação tem um Azion Workload Domain atribuído para torná-la acessível através do navegador. O domínio tem o seguinte formato: xxxxxxxxxx.map.azionedge.net/. No entanto, você pode adicionar um domínio personalizado para que os usuários acessem sua application através dele.