Namcios

Namcios@namcios · 5 天前赛道影响

Agentes de IA raramente desobedecem um prompt. O padrão real de falha é mais sutil: eles quase cumprem. Descrevem a ação em vez de executá-la, carregam a ferramenta e nunca chamam, se sentem 'prontos' após prosa com cara de relatório. O erro que todo mundo comete: pedir capricho. 'Seja minucioso', 'não pule etapas', 'revise com atenção'. Sob autonomia, o modelo otimiza a forma do checklist, não o trabalho. Rodo um pipeline de revisão autônomo com Claude Code, e o padrão de falha quase nunca foi o agente ignorando uma instrução. Foi o agente quase cumprindo: - descreve a ação em prosa como se isso fosse executá-la - carrega o schema de uma ferramenta via ToolSearch e nunca a invoca - escreve prosa parecida com o relatório e se sente 'pronto' - comprime a análise numa tabela-resumo com cara de revisão completa Em todos esses casos, ele produziu texto com formato de obediência. Três movimentos bloqueiam isso: 1. Nomeie o autoengano dentro do prompt. Ordens genéricas ('pare antes de X') não seguram. O que segura é enumerar as racionalizações específicas. Trecho colável do meu prompt real: "**STOP.** Do NOT proceed until the user responds. Naming the 80% solution in chat prose and continuing — or loading the AskUserQuestion schema via ToolSearch and then never invoking it — is the failure mode this gate exists to prevent." Com o desvio exato nomeado, o modelo perde a rota de racionalização: descrever deixa de contar como fazer. 2. Ancore 'terminou' em sentinelas determinísticas. No meu pipeline, o run só é válido se o último heading '## ' do arquivo for '## REVIEW REPORT' e a última linha não-vazia for exatamente 'NO UNRESOLVED DECISIONS'. Um grep decide, o agente não. Sem sentinela estrutural, nem o próprio modelo distingue prosa de artefato, e é por isso que ele 'se sente pronto' cedo demais. 3. Exija evidência para todo 'nenhum problema encontrado'. 'No issues found' é saída válida, mas só depois da análise. A regra que uso: 1–2 frases dizendo o que foi examinado e por que nada foi sinalizado. E 'skipped' só vale para seções numa skip-list explícita e enumerada, nunca por julgamento do agente. Números do meu pipeline real: checklist bloqueante de 5 itens antes do ExitPlanMode, máximo de 8 issues por seção em 4 seções fixas, 10 seções rodando em profundidade total mesmo sem humano no loop, 2 sentinelas checadas por grep. Capricho você não consegue verificar com grep. Sentinela exata e evidência de exame, sim. Faça tudo isso e seus agentes de IA vão trabalhar e verificar de forma correta.

AI：偏主题投资表达，释放对基础设施与新叙事的偏多信号。

Namcios@namcios · 8 天前观点输出

RT @namcios: Coloquei dois modelos de IA pra revisar o mesmo diff de código. Eles acharam 61 erros. Mas só 21 eram erros de fato. Os outr…

AI：延续个人公开立场，强调长期主义、执行效率与行业方向判断。

Namcios@namcios · 8 天前观点输出

O anti-pattern: pedir 'revisa meu código' num modelo só, sem papel definido, e aplicar a lista inteira que voltar. Sem o filtro de verificação, você conserta código certo e introduz bug novo com a confiança de quem revisou.

AI：延续个人公开立场，强调长期主义、执行效率与行业方向判断。

Namcios@namcios · 8 天前赛道影响

Dois achados reais que sobreviveram ao filtro: a confirmação pra sobrescrever um registro finalizado só existia como banner no front-end (o servidor aceitava sem o flag), e um upload fora de sequência teria gravado os campos de um período nos dados de outro.

AI：偏主题投资表达，释放对基础设施与新叙事的偏多信号。

Namcios@namcios · 8 天前观点输出

Coloquei dois modelos de IA pra revisar o mesmo diff de código. Eles acharam 61 erros. Mas só 21 eram erros de fato. Os outros 40 eram falso positivos, consequência de pedir para LLM encontrar bugs. Montar um conselho de modelos pra revisar código antes do merge é crucial: 🧵 https://t.co/sRO7KdUcLm

AI：延续个人公开立场，强调长期主义、执行效率与行业方向判断。

Namcios@namcios · 8 天前赛道影响

RT @namcios: Coloquei 3 LLMs pra verificar cada claim de um relatório quantitativo. Descobri que voto majoritário entre modelos erra de f…

AI：偏主题投资表达，释放对基础设施与新叙事的偏多信号。

Namcios@namcios · 9 天前观点输出

O erro que todo mundo comete: tratar conselho de LLMs como eleição. Consenso é barato quando os membros compartilham a mesma limitação. Três modelos sem acesso à fonte concordam com facilidade, e concordam errado. Se o desacordo pode nascer de diferença de ferramenta, quem decide precisa re-puxar a fonte. Nunca contar votos.

AI：延续个人公开立场，强调长期主义、执行效率与行业方向判断。

Namcios@namcios · 9 天前赛道影响

A saída também é fechada, um objeto por claim: [{"id":"...", "correct_verdict":"VERIFIED|WRONG|IMPRECISE|UNVERIFIABLE|SOURCE_NOT_FOUND|MISATTRIBUTED", "correct_value":"<right value with units, empty if VERIFIED>", "responses_correct":["R1"],"responses_wrong":["R2"], "reasoning":"<=40 words, cite the primary you pulled", "confidence":"high|medium|low"}] O limite de 40 palavras + "cite the primary you pulled" obriga o juiz a re-verificar de verdade. Sem isso, ele racionaliza a maioria em prosa bonita.

AI：偏主题投资表达，释放对基础设施与新叙事的偏多信号。

Namcios@namcios · 9 天前赛道影响

Coloquei 3 LLMs pra verificar cada claim de um relatório quantitativo. Descobri que voto majoritário entre modelos erra de forma sistemática, e por um motivo que quase ninguém comenta. Nesta thread: como montar um juiz de conselho de LLMs que decide pela evidência, com o prompt exato pra copiar.

AI：偏主题投资表达，释放对基础设施与新叙事的偏多信号。

Namcios@namcios · 9 天前赛道影响

RT @GuerillaV2: Looks like Bitcoin Twitter is back so it's time to make research fun again (play around on the website!) In this piece, @t…

AI：偏主题投资表达，释放对基础设施与新叙事的偏多信号。