A gente trabalha com Python e com modelos open source rodando no
ambiente do cliente, e chama API de terceiro onde ela traz valor real
para o caso, em vez de chamar por padrão. Essa escolha parece detalhe
técnico até a conta chegar, e a diferença aparece em três lugares bem
concretos.
Custo por chamada
Um agente de atendimento que conversa com 40 mil clientes por mês
faz muito mais que 40 mil chamadas ao modelo, porque cada conversa
tem várias idas e voltas e cada ida leva o histórico junto. Com API
de terceiro você paga por token, e a conta cresce junto com o
sucesso do agente. Com modelo aberto no seu servidor, o custo é o
da máquina: fixo, previsível e conhecido antes de subir.
Dependência de fornecedor
Preço, limite de requisição e o próprio comportamento do modelo
mudam quando o fornecedor decide mudar, e já mudaram várias vezes.
Um modelo que roda no seu ambiente continua o mesmo amanhã, com a
mesma resposta para a mesma pergunta, e a hora de trocar por um melhor
é você quem escolhe.
O caminho que o dado percorre
Toda pergunta que vai para uma API de terceiro leva contexto junto:
nome do cliente, CPF, histórico de compra, às vezes o teor da
reclamação. Esse pacote sai da sua rede e passa por uma
infraestrutura que não é sua. Rodando dentro de casa, o dado não
atravessa a fronteira da empresa, e o log de quem consultou o quê
fica com você.