Método
Como medimos o que a IA responde sobre a sua empresa
Cada resposta vem de uma pergunta feita do jeito que o seu cliente escreveria, a uma IA com busca na web. Guardamos o registro bruto e contamos a partir dele: nada no relatório é opinião do modelo sobre a sua empresa.
Quais IAs
API oficial quando existe, navegador quando não existe
Usamos a API oficial de cada IA, sem intermediários que revendem respostas. Onde não há API, a resposta é coletada num navegador.
| IA | Caminho | Situação |
|---|---|---|
| Claude (Anthropic) | API oficial, com a ferramenta de busca na web | Em uso no teste grátis e no estudo |
| ChatGPT (OpenAI) | API oficial, com busca na web | Ainda não falta ligar a chave da API |
| Gemini (Google) | API oficial, com a busca do Google | Ainda não falta a chave e conferir se os termos de uso permitem guardar as respostas como prova |
| Respostas de IA na busca do Google (AI Overviews e AI Mode) | Não há API oficial: navegador | Em teste ainda não entra nos testes |
Prova
O que guardamos de cada pergunta
- A pergunta exata e o pedido enviado à IA.
- A resposta completa, como a API devolveu, sem edição.
- Data, hora e tempo de resposta.
- As buscas que a IA fez e as páginas que ela leu.
- As fontes que ela citou, ligadas aos trechos da resposta.
- O consumo e o custo de cada chamada.
- O pedido que separou, na resposta, os nomes de empresas e de plataformas.
O relatório traz o sha256 de cada registro. Quem tiver o arquivo calcula o sha256 dele e confere que é o mesmo do relatório.
Contagem
Quando a sua empresa conta como citada
A empresa aparece numa resposta quando o nome dela ou o domínio do site está no texto, ou quando uma fonte citada ou uma página lida é do site dela ou traz o nome dela no título ou no endereço. O nome é comparado sem acento, sem maiúscula, por palavras inteiras e sem "Ltda" ou "ME".
"Citou" conta só o texto e as fontes citadas. Quando a IA leu uma página da empresa sem citá-la, o relatório mostra isso à parte.
Antes de um trabalho, combinamos por escrito as perguntas, as IAs e esta regra. No reteste, nada disso muda.
Quem aparece no lugar
Nomes de empresas e tipos de site
Um segundo pedido ao mesmo modelo, sem busca, separa os nomes de empresas citados na resposta. Só ficam os nomes que estão escritos nela; plataformas como Doctoralia e Yelp vão para outra lista. O separador às vezes erra o grupo de um nome, e o filtro garante só que o nome está na resposta.
Cada site lido entra numa lista revisada, com seis tipos: diretório, lista ou site de avaliação; notícia ou blog; site de empresa; rede social; mapa; outro. Domínio fora da lista cai numa regra simples (governo, ensino ou entidade vira "outro", título de lista ou ranking vira "diretório" e o resto vira "site de empresa"), e o relatório avisa quando foi assim. A lista foi revisada por um agente de IA da Valor Digital, sem conferência humana.
Limites
O que uma medição não mostra
- As respostas variam de pessoa para pessoa, de lugar para lugar e de um dia para o outro. Um teste é a foto de um momento; hoje não repetimos a mesma pergunta para medir a variação.
- A API não é o app: o app do assistente pode usar outro modelo, buscar mais e responder diferente.
- A busca do Claude não é a do Google. No nosso estudo de 10 cidades, nenhuma das 160 respostas leu uma página do Google Maps.
- Aparecer numa resposta não garante visita nem venda. Medimos aparições, não clientes.
Teste grátis
Veja o registro das respostas sobre o seu ramo
O teste roda no chat de vendas da Valor Digital, com as perguntas que o seu cliente faria.