Reduzindo o Gasto em Inferência com Modelos Personalizados

Uma Visão Geral do Problema de Inferência

As empresas estão cada vez mais preocupadas com os custos de inferência, pois eles podem aumentar rapidamente conforme a demanda cresce. Para lidar com esse problema, as empresas estão começando a usar modelos personalizados, que são projetados para realizar tarefas específicas de forma eficiente.

A Importância de Modelos Personalizados

Os modelos personalizados são fundamentalmente diferentes dos modelos gerais propostos pela inteligência artificial. Eles são treinados em conjuntos de dados específicos e são projetados para realizar tarefas específicas, como classificação de texto ou detecção de objetos. Isso os torna mais eficientes e eficazes do que os modelos gerais, que podem ser menos precisos e mais caros.

O Exemplo de Agentforce

A Agentforce é uma empresa que estava gerando um grande gasto em inferência com a ajuda de um modelo único. Para reduzir esses custos, a empresa decidiu partir em uma rota diferente. Em vez de usar um modelo único para realizar todas as tarefas, eles optaram por criar uma infraestrutura mais agente. Fizeram isso criando vários modelos diferentes para realizar tarefas específicas.

• Job:
  • HyperClassifier: utilizado para ler pedidos e encaminhá-los.
  • Prompt Injeção Defense (PID): utilizado para verificar se o pedido foi um ataque de injeção de prompt.
  • Toxicity Model: utilizado para verificar se o conteúdo é prejudicial.

Conclusão

A redução do gasto em inferência é um desafio comum enfrentado pelas empresas que utilizam modelos de inteligência artificial. Os modelos personalizados oferecem uma solução eficaz para esse problema, pois são projetados para realizar tarefas específicas e são mais eficientes do que os modelos gerais. Além disso, a criação de uma infraestrutura mais agente pode ajudar as empresas a reduzir os custos de inferência e melhorar a eficiência em geral.