AWS Machine Learning Blog· Sai Pavan Kasani·· há 5 hSeleçãoNota IA53
Quatro escolhas de inferência no Amazon Bedrock que afetam o custo
Four Amazon Bedrock inference choices that affect cost
Resumo por IA
A AWS explica quatro escolhas de requisição no Amazon Bedrock que mudam o custo sem trocar modelo ou prompt, como duração do cache, service tier, esforço de raciocínio e maxTokens.
Por que importa
Mostra quatro ajustes de requisição que alteram o custo no Bedrock sem trocar de modelo, com teste em que o esforço alto elevou os tokens de saída em 169%.
Fonte: AWS Machine Learning Blog · aws.amazon.com