A IA descreve o seu
negócio com rigor?
Ser mencionado é a metade fácil. A pergunta difícil é se a frase ao lado do seu nome ainda é verdade. O Moose avalia cada resposta que o nomeia face ao que vende hoje e mostra-lhe a frase que falhou.
Sentimento: Neutro. A resposta diz o que o produto faz, sem elogios nem críticas.
Narrativa: «feito para pequenas lojas Shopify» contradiz o perfil, que vai de marcas pequenas a grandes retalhistas.
Paridade: A resposta nega as ferramentas de apoio e helpdesk. O perfil indica ambas como já lançadas.
O Klaviyo é uma ferramenta de automação de marketing conhecida sobretudo pelo email, e é feito para pequenas lojas Shopify que querem fluxos automáticos de boas-vindas e de carrinho abandonado.
Não inclui ferramentas de apoio ao cliente nem de helpdesk, por isso os retalhistas maiores costumam juntá-lo a uma plataforma de suporte separada.
A pesquisa com IA não o incomoda. Nunca foi descrito mal, sobretudo porque se recusa a explicar-se. Consultado para esta página.
Uma menção que não teria aprovado é pior do que menção nenhuma
Os modelos aprenderam-no a partir da internet de há dois anos. Mudou o posicionamento, lançou três produtos, subiu de segmento. Os dados de treino não. Por isso a resposta nomeia-o, conta como vitória em qualquer painel de visibilidade e descreve a empresa que era antes.
E depois piora de uma forma concreta: a resposta diz que não faz algo que faz há um ano, ou atribui-lhe a funcionalidade de um concorrente. Um comprador lê aquilo e põe-no de parte sem que alguma vez saiba.
Seta verde, linha de tendência saudável. Contou o seu nome e ficou-se por aí. Não tem opinião nenhuma sobre se a frase à volta do seu nome era verdadeira.
Quatro respostas colocam-no na categoria antiga. Três negam uma capacidade que lançou na primavera passada. Duas atribuem-lhe a funcionalidade de um concorrente. Cada uma indica a frase e o motor que a disse.
Nada é avaliado a olho
Escreve uma vez o que é verdade sobre a empresa, no Brand Truth Profile. Todos os veredictos seguintes são medidos face às suas palavras, e não à ideia que um modelo tem de uma boa resposta.
Sem perfil não há veredictos. O desvio e a paridade são medidos face aos seus campos, por isso o Moose deixa-os em branco em vez de inventar uma bitola.
Desvio de narrativa e paridade de funcionalidades
Cada resposta que o menciona recebe os dois, e cada um vem com uma única frase de justificação que tem de nomear a afirmação concreta de que fala.
Esta resposta descreve a empresa que é ou uma que já foi? Tipo de cliente errado, categoria errada, posicionamento morto.
A resposta está factualmente errada sobre o que consegue fazer? Este veredicto avalia desinformação. Deixar coisas de fora não conta.
A omissão. Se uma resposta se mantém factualmente correta sem listar todas as suas funcionalidades, continua a ser boa. A resposta de ninguém lista tudo.
Feito para não dar alarmes falsos
Um monitor que assinala tudo é um monitor que se deixa de abrir. As regras de pontuação estão escritas para que o alarme falso seja o erro caro e não o erro seguro.
As instruções de pontuação tratam o alarme falso como o erro caro. Se o modelo não conseguir apontar uma frase concreta e dentro do âmbito que seja falsa ou enganosa, não pode assinalar nada. O silêncio é o normal, não a exceção.
Uma lista simples de funcionalidades, ou uma linha de tabela que diz o que faz, é neutra. Para ser negativo é preciso crítica a sério ou um contraste desfavorável, não basta aparecer em último.
Os veredictos de sentimento levam uma citação copiada da resposta palavra por palavra, para ser você a julgar a decisão em vez de confiar num resumo dela.
Se a chamada de pontuação falhar, os campos ficam vazios. O Moose não fabrica um veredicto para preencher uma caixa, e o modelo está proibido de inventar detalhes que não estejam na resposta ou no seu perfil.
As afirmações sobre funcionalidades só são avaliadas dentro do âmbito do prompt. Uma resposta sobre entregabilidade de SMS não é penalizada por não mencionar o seu produto de avaliações.
Que modelo é que se engana consigo
Cada observação leva carimbado o motor que a produziu, por isso desvio, paridade, sentimento, menções e citações desdobram-se por modelo. «Mostra-me todas as respostas em que uma IA errou uma funcionalidade, e qual foi» é um único filtro.
Para o ChatGPT, Grok, Perplexity e Google AI Mode, o Moose lê o que o produto de consumo real responde a partir de uma sessão de navegador no seu computador. Se essa leitura falhar há uma alternativa por API, e cada observação regista que caminho a produziu e se a alternativa foi usada. Pode sempre saber como uma resposta foi obtida.
Uma leitura isolada é curiosidade. A mudança é a história.
As execuções seguem o seu calendário, de diárias a manuais, e uma execução agendada pode enviar-lhe o resumo por email, para que um achado lhe chegue sem abrir nada. O que olha depois é a diferença entre execuções, não mais um instantâneo.
Taxa de menção, taxa de citação e sentimento positivo por dia, semana ou mês, em vez de uma janela fixa que outra pessoa escolheu.
Compare o mês passado com o anterior, ou as duas semanas de cada lado de um lançamento, lado a lado.
Alinhamento da narrativa, rigor das funcionalidades, contagem de sentimento negativo, taxa de menção e taxa de citação, cada uma com a variação desde a execução anterior.
Menção perdida, menção ganha, citação nova, sentimento negativo. Cada um indica o prompt e o motor, com a citação anexada.
Filtre tudo por desvio de narrativa ou paridade de funcionalidades, para que «todas as respostas em que uma IA errou uma funcionalidade» seja um clique em vez de uma exportação e uma folha de cálculo.
Números sobre os quais pode agir sem os verificar primeiro
Um número que tem de conferir você não lhe poupou trabalho nenhum. Aqui há três decisões tomadas de propósito.
Se um motor não pôde ser alcançado ou lido, essa observação sai de todas as métricas, variações e alertas. Uma falha de rede nunca se transforma numa queda falsa de visibilidade, e uma referência falhada nunca se transforma numa recuperação falsa.
O mesmo prompt no mesmo motor pode ser amostrado até cinco vezes por execução, porque uma única resposta de IA oscila muitíssimo enquanto a taxa de menção entre amostras se mantém estável. Os resultados levam uma margem de confiança de Wilson a 95%.
Dois pontos de movimento dentro da margem não são uma tendência, e o Moose não lhos vai apresentar como tal. Assim gasta a semana nas mudanças que são reais.
Se a marca nunca foi mencionada, ou o motor nunca respondeu, a observação é marcada como não aplicável sem gastar uma chamada de pontuação. As amostras repetidas do mesmo prompt juntam-se num só veredicto para listas, emails e alertas, por isso um prompt muito citado não inunda o relatório de duplicados.
Apanhá-lo de propósito
Em vez de adivinhar o que seguir, o Moose escreve prompts ancorados no nome da sua marca e nos campos que preencheu: capacidades, comparações com concorrentes, segmentos de cliente e as deturpações que já vê acontecer.
Os prompts são gerados a partir do nome da sua marca e dos seus campos de Brand Truth, para que as respostas que trazem sejam sobre si.
As perguntas de diagnóstico que escreve passam sem alterações, em vez de serem reescritas em algo mais genérico.
As consultas sem marca ficam de fora de propósito. Não devolvem citações sobre si, que é todo o objetivo do exercício.
Reveja, edite e aprove cada sugestão antes de seguir seja o que for. Vão para uma categoria própria de Prompts de diagnóstico, por isso nunca se misturam com o seu conjunto principal.
De onde veio a história errada
Saber que um motor se engana consigo é metade do achado. A outra metade é a página que lho ensinou, e essa normalmente é coisa que consegue ir corrigir.
Transformar um achado numa correção
Um veredicto por si só é uma queixa. Na mesma janela transforma-se num briefing, num rascunho e numa alteração que aprovou.
Quem tem pontuação
Duas ressalvas que vale a pena ler antes de descarregar, porque preferimos que fique a saber aqui.
O desvio de narrativa e a paridade de funcionalidades correm em espaços de trabalho geridos pagos e BYOK que tenham o Brand Truth Profile preenchido. Cadência diária, os oito motores, relatórios por email e exportação para PDF ou CSV.
O modo de pré-visualização gratuita não tem pontuação nenhuma: nem desvio, nem paridade. Está limitado a 3 prompts, execuções semanais ou manuais e aos motores de leitura local. Chega para ver se aparece, não para avaliar como.
Perguntas que nos fazem
Tenho de preencher o Brand Truth Profile todo?
Todos os campos são opcionais, mas o perfil é a bitola, por isso um perfil vazio significa zero veredictos de desvio ou paridade. A descrição canónica, o cliente ideal e as capacidades principais fazem quase todo o trabalho. Comece por esses três e acrescente o resto conforme vir o que é assinalado.
Uma resposta é assinalada por deixar funcionalidades de fora?
Não. A paridade de funcionalidades avalia desinformação, e deixar uma funcionalidade de fora não é falha. Uma resposta que se mantém factualmente correta mencionando apenas dois dos seus seis produtos continua a ser boa. Só é assinalada uma afirmação errada: uma capacidade negada, uma capacidade inventada, ou a funcionalidade de um concorrente creditada a si.
Como sei que um veredicto não é uma alucinação?
Cada veredicto leva uma justificação de uma frase que tem de nomear a afirmação concreta de que fala, e os veredictos de sentimento levam uma citação exata copiada da resposta. Se a chamada de pontuação falhar, os campos ficam vazios em vez de serem preenchidos com um palpite.
Que motores consegue ler?
ChatGPT, Claude, Gemini, Grok, Perplexity, Google AI Mode, Google AI Overviews e Bing Copilot. Para o ChatGPT, Grok, Perplexity e Google AI Mode há caminhos que leem o que o produto de consumo real responde, com uma alternativa por API se essa leitura falhar. Cada observação regista que caminho a produziu.
Uma única resposta má pode mexer com os meus números?
Menos do que julga, porque o mesmo prompt no mesmo motor pode ser amostrado até cinco vezes por execução e os resultados levam uma margem de confiança de Wilson a 95%. As amostras repetidas também se juntam num só veredicto em listas, emails e alertas, por isso um prompt muito citado não inunda o relatório.
Mais coisas para perguntar ao Moose
Todos os casos de usoPergunte se já escreveu aquilo antes de o encomendar outra vez.
A versão de si que um motor consegue resolver e citar.
As pesquisas que a Google escreve para si própria antes de responder.
Doze pesquisas mais estreitas por trás de uma pergunta do comprador.
O verdadeiro top dez, as perguntas relacionadas e a AI Overview com as fontes.
A lista completa e o que o Moose faz passo a passo em cada um.
Escreva o que é verdade.
Depois exija-o a cada resposta.
Preencha o Brand Truth Profile uma vez, corra uma verificação e leia todas as frases que não batem certo. Assim discute com algo concreto em vez de com uma sensação.