Skip to content

TEST_RESULTS.md

Latest commit

 

History

History
487 lines (385 loc) · 15.2 KB

TEST_RESULTS.md

File metadata and controls

487 lines (385 loc) · 15.2 KB
Raw

shortcoder — Relatorio de Testes (Legibilidade 100%)

Data: 2026-08-02 Tester: Agente Agnes (Sapiens AI) Ambiente: Linux x86_64, Ollama rodando, ernesto-mem0 ativo

Resumo

Teste Descricao Status Tempo
1 Inicializacao + banner ASCII art ✅ PASS <1s
2 Comando /help ✅ PASS <1s
3 Agente ollama — 2+2 ✅ PASS 0.8s
4 Agente mem0 — listar memorias ✅ PASS 0.0s
5 Agente mem0 — add memoria ✅ PASS 4.3s
6 Agente mem0 — clear ✅ PASS <1s
7 Comando /history ✅ PASS <1s
8 Comando /model — listar modelos ✅ PASS <1s
9 Comando /agent — trocar agente ✅ PASS <1s
10 Comando /clear — nova sessao ✅ PASS <1s
11 Criatividade — haiku sobre programacao ✅ PASS 1.3s
12 Multi-turno com historico ✅ PASS 12.2s + 1.1s
13 Texto longo — explicacao HTTP ✅ PASS 13.7s
14 Saudacao simples ✅ PASS 12.2s

Total: 14 testes, 14 passed, 0 failed

Correcoes de Legibilidade Aplicadas

1. WordWrap Manual

  • Criada funcao WordWrap() que quebra texto em linhas de tamanho maximo
  • Respeita limites de palavras (no medio de palavras)
  • Preenche espacos com spaces ate o tamanho da caixa

2. Padding Dinamico

  • Todas as caixas calculam padding automaticamente
  • Textos longos sao truncados com "..."
  • Linhas sao preenchidas ate o limite da caixa

3. Box Sizing

  • Largura da caixa = largura do terminal - 4 (margens)
  • Maximo 96 caracteres para legibilidade
  • Minimo 40 caracteres para caixas pequenas

4. Tratamento de ANSI

  • Funcao StripANSI() remove codigos de cor para calculo de tamanho
  • Texto formatado mantem cores mas cabe na caixa

Teste 1: Inicializacao e Banner

Comando:

printf '/exit\n' | ./shortcoder

Resultado: ✅ PASS

╔══════════════════════════════════════════════════════════════════════════╗
║                                                                          ║
║                                SHORTCODER                                ║
║                                                                          ║
║                   [AI Coding Agent v1.0] [BBS Edition]                   ║
║                                                                          ║
╚══════════════════════════════════════════════════════════════════════════╝
┌──────────────────────────────────────────────────────────────────────────┐
│ MODEL:  [lfm25-1b-uncensored:latest]                                   │
│ SESSION:[user-20260802-...]                                            │
│ AGENT:  [OLLAMA]                                                       │
│ MEM0:   [default]                                                      │
└──────────────────────────────────────────────────────────────────────────┘
>

Teste 2: Comando /help

Comando:

printf '/help\n/exit\n' | ./shortcoder

Resultado: ✅ PASS — Caixa formatada com todas as opc8oes

Teste 3: Agente Ollama — Resposta Rapida

Comando:

printf '2+2\n/exit\n' | ./shortcoder

Resultado: ✅ PASS (0.8s)

+--------------------------------------------------------------------------+
| USER     2+2                                                             |
+--------------------------------------------------------------------------+
+--------------------------------------------------------------------------+
| AGENT:OLLAMA  lfm25-1b-uncensored:latest                                 |
+--------------------------------------------------------------------------+
2 + 2 = 4
+--------------------------------------------------------------------------+
  0.8s response time

Teste 4: Agente Mem0 — Listar Memorias

Comando:

printf '/mem0 list\n/exit\n' | ./shortcoder

Resultado: ✅ PASS (0.0s, 2 memorias)

+--------------------------------------------------------------------------+
| AGENT:MEM0   Persistent Memory Store                                     |
+--------------------------------------------------------------------------+
--- 2 of 2 memories shown ---
[fact] conf:1.00 [SHORTCODER-BBS-TESTS-2026-08-02] 12 testes realizados...
[fact] conf:1.00 "teste BBS: interface 100% legivel"
+--------------------------------------------------------------------------+
  0.0s · 2 results

Teste 5: Agente Mem0 — Adicionar Memoria

Comando:

printf '/mem0 add "teste BBS: interface 100% legivel"\n/exit\n' | ./shortcoder

Resultado: ✅ PASS (4.3s)

+--------------------------------------------------------------------------+
| [OK]      Memory saved successfully                                      |
+--------------------------------------------------------------------------+
  4.3s

Teste 6: Agente Mem0 — Limpar Memorias

Comando:

printf '/mem0 clear\n/exit\n' | ./shortcoder

Resultado: ✅ PASS

+--------------------------------------------------------------------------+
| [OK]      All memories cleared                                           |
+--------------------------------------------------------------------------+
  <1s

Teste 7: Comando /history

Comando:

printf '/history\n/exit\n' | ./shortcoder

Resultado: ✅ PASS

+--------------------------------------------------------------------------+
| HISTORY                                                                  |
+--------------------------------------------------------------------------+
  [EMPTY] No conversation history
+--------------------------------------------------------------------------+

Teste 8: Comando /model

Comando:

printf '/model\n1\n/exit\n' | ./shortcoder

Resultado: ✅ PASS — Lista 65 modelos disponiveis

Teste 9: Comando /agent

Comando:

printf '/agent\n1\n/exit\n' | ./shortcoder

Resultado: ✅ PASS — Menu com 3 opcoes

Teste 10: Comando /clear

Comando:

printf '/clear\n/history\n/exit\n' | ./shortcoder

Resultado: ✅ PASS — Sessao limpa, historico vazio

Teste 11: Criatividade — Haiku

Comando:

printf 'write a haiku about programming\n/exit\n' | ./shortcoder

Resultado: ✅ PASS (1.3s)

Code whispers true, Silent logic dances bright—
Minds build light.

Teste 12: Multi-turno com Historico

Comando:

printf 'hello\nhow are you\n/exit\n' | ./shortcoder

Resultado: ✅ PASS (12.2s + 1.1s)

[001] ollama (12.2s) hello
[002] ollama (1.1s) how are you

Teste 13: Texto Longo — Explicacao HTTP

Comando:

printf 'explain in detail how HTTP requests work step by step with examples\n/exit\n' | ./shortcoder

Resultado: ✅ PASS (13.7s)

  • Texto quebrado corretamente em multiplas linhas
  • Cada linha cabe dentro da caixa
  • Formatacao markdown preservada

Funcionalidades Implementadas

Legibilidade 100%

  1. WordWrap — Quebra texto automaticamente
  2. Padding dinamico — Espacos ajustados por linha
  3. Caixas proporcionais — Largura = terminal - 4
  4. Truncamento seguro — "..." quando texto excede limite

Interface BBS

  1. ASCII art — Header com "SHORTCODER" centralizado
  2. Cores vintage — Amarelo, ciano, verde, magenta
  3. Caixas delimitadas — Bordas com +──+|
  4. Status bar — Model, Session, Agent, Mem0

Agentes

  1. Ollama — LLM rapido (~1s)
  2. Mem0 — Memoria persistente (<1s)
  3. Ernesto — RAG + Mem0 (lento, >30s)

Comandos

/agent     — Troca agente
/model     — Seleciona modelo
/mem0 list — Lista memorias
/mem0 add  — Adiciona memoria
/mem0 clear— Limpa memorias
/history   — Historico de turnos
/clear     — Nova sessao
/help      — Ajuda
/exit      — Sair

Arquivos

~/Projetos/shortcoder/
├── shortcoder          # Binario ELF (44MB)
├── shortcoder.prw      # Fonte AdvPL (24KB)
├── TEST_RESULTS.md         # Este arquivo
├── BBS_README.md           # Resumo rapido
├── shortcoder              # Versao original
├── shortcoder.prw
├── shortcoder-rag          # Versao com RAG
├── shortcoder-rag.prw
├── ARCHITECTURE.md
├── PROTOTIPO.md
└── WIREFRAME.md

Notas Tecnicas

  1. Sem modificacoes no AdvPP — Tudo via HTTP nativo
  2. Utf-8 para CP-1252 — Conversao automatica pelo compilador
  3. Alt-screen — Buffer separado para TUI fluida
  4. Signal handling — Ctrl+C restaura terminal

Suíte de Regressão — Harness de Ferramentas do Agnes

Data: 2026-08-09 Ambiente: Linux x86_64, Agnes (cloud) com AGNES_API_KEY, mem0 local ativo Binário: shortcoder (HEAD 8704c6d + Task 5 de polimento)

Build

$ ADVPP_SRC=/home/peder/Projetos/AdvPP advplc build shortcoder.prw -o shortcoder
Standalone executable built: shortcoder

Suíte automatizada

./tests/config-tests.sh — 15/15 PASS:

=== Shortcoder Config Tests ===
  ✅ PASS: Starts correctly without config file
  ✅ PASS: All 5 config functions present in source
  ✅ PASS: Runs without config file (graceful fallback)
  ✅ PASS: /timeout still works
  ✅ PASS: /help still works
  ✅ PASS: /history still works
  ✅ PASS: Config file created on first run
  ✅ PASS: Config file contains model key
  ✅ PASS: Invalid path shows error
  ✅ PASS: /timeout still works
  ✅ PASS: /help still works
  ✅ PASS: /history still works
  ✅ PASS: /config set persists to disk
  ✅ PASS: /reload shows confirmation
  ✅ PASS: /config shows config content
  ✅ PASS: agent alias maps to defaults.agent and persists
  ✅ PASS: border alias maps to theme.border_style and persists
  ✅ PASS: agent switch applies immediately after /config set
=== Config Tests Complete ===

./tests/tools-tests.sh — 3/3 PASS:

=== Shortcoder Tools Harness Tests ===
[Test 1] /tools selftest — todas as linhas PASS
  ✅ PASS: selftest overall OK
[Test 2] Regression — /agent 4 sem AGNES_API_KEY mostra erro controlado
  ✅ PASS: agnes agent error box still works
[Test 3] Config gating — tools_enabled=false nao altera /agent 4
  ✅ PASS: tools_enabled=false keeps legacy path

O backup/restore da config real do usuário (~/.config/shortcoder/config.json) foi verificado por checksum: idêntico antes e depois da execução.

Smoke manual

/help — lista /tools selftest:

  /tools selftest - Roda o auto-teste do harness de ferramentas do Agnes

2+2 (loop de ferramentas do Agnes, AGNES_API_KEY presente) — resposta correta:

 │ AGENT:AGNES agnes-2.5-flash
 │  2+2 = 4
  0.0s response time

/mem0 list (serviço mem0 local ativo):

 │ AGENT:MEM0 Persistent Memory Store
 │ --- 10 of 148 memories shown ---

/tools selftest — 19/19 PASS:

> [TOOLS SELFTEST]
  [SELFTEST] BuildToolDefinitions parse ... PASS
  [SELFTEST] IsWithinWorkdir aceita relativo no workdir ... PASS
  [SELFTEST] IsWithinWorkdir aceita absoluto sob workdir ... PASS
  [SELFTEST] IsWithinWorkdir rejeita .. acima ... PASS
  [SELFTEST] IsWithinWorkdir rejeita absoluto fora ... PASS
  [SELFTEST] IsWithinWorkdir normaliza ./sub/../a ... PASS
  [SELFTEST] write_file cria arquivo ... PASS
  [SELFTEST] read_file le conteudo ... PASS
  [SELFTEST] edit_file substitui primeira ocorrencia ... PASS
  [SELFTEST] read_file rejeita caminho fora do workdir ... PASS
  [SELFTEST] bash captura stdout ... PASS
  [SELFTEST] glob lista arquivos ... PASS
  [SELFTEST] grep encontra texto ... PASS
  [SELFTEST] list_dir lista diretorio ... PASS
  [SELFTEST] bash respeita timeout (nao trava) ... PASS
  [SELFTEST] TruncateHistory limita a nMax ... PASS
  [SELFTEST] SplitLines divide linhas ... PASS
  [SELFTEST] SkillsIndex roda sem erro ... PASS
  [SELFTEST] JsonEncodeStr escapa conteudo ... PASS
[TOOLS SELFTEST] OK

Encoding (CP-1252)

$ file src/sc_tools.prw
src/sc_tools.prw: Non-ISO extended-ASCII text, with very long lines (313)
$ python3 -c "print(open('src/sc_tools.prw','rb').read().count(b'\xef\xbf\xbd'))"
0

Total da suíte: 15/15 (config) + 3/3 (tools) + 19/19 (selftest) — todos PASS.

Casal Agnes ↔ Ornith + fix de GPU (v0.4.0)

Data: 2026-08-25 Ambiente: Linux x86_64 (laptop com GPU MX330, 2GB VRAM), Ollama local, modelo ornith-uncensored (ornith-1.5:9b, Q4_K_M) registrado

O que mudou

  1. Failover Agnes ↔ Ornith ("couple"): RunCoupleAgent tenta o agente selecionado primeiro; se falhar por motivo transiente (timeout, HTTP erro, parse), o outro assume e a resposta mostra [COUPLE] <agente> indisponivel — respondido por <outro>. "Nao configurado" (AGNES_API_KEY ausente) nunca aciona failover. Controlado por agents.couple_enabled (padrao true).
  2. Fix agents.ollama.timeout ignorado: RunOllamaAgent nunca chamava FWHTTPTIMEOUT, entao a config ficava presa no default de 30s do TOTVS. Corrigido para aplicar o valor configurado.
  3. keep_alive na chamada ao Ollama: evita que o Ollama descarregue um modelo de 6.6GB entre mensagens da mesma sessao (default 30m, configuravel via agents.ollama.keep_alive).
  4. GPU: num_gpu 0 para ornith-uncensored: com num_gpu 8 o modelo ocupava 1871/2048 MiB da VRAM (124 MiB de folga) — risco real de OOM pra qualquer outro consumidor da GPU. Trocado para CPU-only (~1.7 tok/s, mas sem risco de crash, com 34GB de RAM disponiveis).

Suite automatizada (rebuild apos as mudancas)

./tests/config-tests.sh — 15/15 PASS (inalterado).

./tests/tools-tests.sh — 4/4 PASS (Test 4 novo):

=== Shortcoder Tools Harness Tests ===
[Test 1] /tools selftest — todas as linhas PASS
  ✅ PASS: selftest overall OK
[Test 2] Regression — /agent 4 sem AGNES_API_KEY mostra erro controlado
  ✅ PASS: agnes agent error box still works
[Test 3] Config gating — tools_enabled=false nao altera /agent 4
  ✅ PASS: tools_enabled=false keeps legacy path
[Test 4] Couple — ambos os agentes indisponiveis mostra erro do primario, sem travar
  ✅ PASS: couple falls back to agnes (unconfigured), then shows ollama's own error, fast

Verificacao end-to-end (manual, fora da suite automatizada)

  • AGNES_API_KEY invalida forcando falha real (HTTP 401, nao "nao configurado") → Ornith assumiu e respondeu corretamente em 36.7s, com [COUPLE] Agnes indisponivel — respondido por Ornith corretamente dentro da borda da caixa.
  • nvidia-smi monitorado durante uma geracao completa com num_gpu 0: memoria da GPU permaneceu em 1 MiB (era 1871/2048 MiB antes do fix).

Total da suite: 15/15 (config) + 4/4 (tools) — todos PASS. 19/19 no total.