Agenten erstellen Arbeit
schneller als irgendjemand
sie prüfen kann.

Menschliche Prüfung war die Schleife. Im Agentenmaßstab ist sie der Engpass.

LOKALISIERTES FEEDBACK

Ein Mangel, den Sie nicht lokalisieren können, ist ein Mangel, den Sie nicht beheben können.
SeaOtter pinnt die exakte Spanne und nennt die Datei.

Der Kritiker sagt nicht nur, dass etwas falsch ist. Er lokalisiert das Problem, sodass der Agent genau die Zeile, Seite, Folie, Zelle, Frame oder den Zeitstempel überarbeiten kann, der/die/das scheitert.

EINREICHEN → BEWERTEN

Arbeit einreichen, Bewertung erhalten — synchron oder asynchron.

Ein Agent sendet per POST die gerade erzeugte Arbeit, und SeaOtter bewertet sie gegen Ihre Acceptance-Policy. Kleine, schnelle Checks liefern das Urteil inline zurück. Schwerere Checks liefern eine Job‑ID, die der Agent abfragt, streamt oder per Webhook erhält — damit blockiert eine lange Prüfung nie den anfragenden Agenten.

curl -s https://dev-api.seaotter.ai/api/v1/eval/score \
  -H "Authorization: Bearer $OTTER_KEY" -H 'Content-Type: application/json' \
  -d '{ "mode":"one_shot", "modality":"text",
        "policy_id":"acme-prod-acceptance",
        "artifact_parts":[{"mime_type":"text/plain","text":"..."}] }'
# 200 { "band":"route_to_fix", "flaws":[...], "upgrades":[...] }

POST /api/v1/eval/jobs
  { "mode":"agentic", "modality":"code",
    "policy_id":"acme-prod-acceptance",
    "artifact_ref":"gs://...", "max_passes":6,
    "webhook":"https://acme.internal/otter-callback" }
# 202 { "job_id":"job_8f21", "status":"running" }
GET /api/v1/eval/jobs/job_8f21   # poll, or stream, or await the webhook

Gleiche Policy, gleicher OtterScore, gleicher signierter Audit-Datensatz — unabhängig vom Transport, den der Agent wählt.

FÜR AGENTEN · MCP SCHNELLSTART

Verdrahten Sie Ihren Agenten in 60 Sekunden mit dem adversariellen Kritiker.

Drei Schritte: Schlüssel erzeugen, einen MCP-Server hinzufügen, dann ruft Ihr Agent otter_score / otter_iterate in seiner eigenen Schleife auf — gleicher OtterScore, gleiche Acceptance-Policy, mit Maschinengeschwindigkeit. Der Kritiker bewertet; Ihr Agent überarbeitet gegen die Mängel, bis das Band passiert. Das ist die Schleife, die Sie oben in der Flotte gesehen haben: Jedes markierte Artefakt (route_to_fix, der gelbe Bogen) tritt über otter_iterate erneut ins Gate ein und wird erst ausgeliefert, wenn ready_to_ship true ist. Kein Mensch in der inneren Schleife — die benannte Freigabe ist das letzte Gate, nicht das einzige.

curl -s -X POST https://dev-api.seaotter.ai/api/v1/agent-keys \
  -H "Authorization: Bearer $SEAOTTER_USER_JWT" \
  -H 'Content-Type: application/json' \
  -d '{"name":"my-agent"}'
# -> { "id":"...", "key":"sk-otter-...",
#      "key_prefix":"sk-otter-abcde", "created_at":"..." }
# Hand `key` to the agent as OTTERLOOP_API_KEY.

{
  "mcpServers": {
    "otterloop": {
      "command": "python",
      "args": ["-m", "otterloop.mcp_server"],
      "env": {
        "OTTERLOOP_API_URL": "https://dev-api.seaotter.ai",
        "OTTERLOOP_API_KEY": "sk-otter-...",
        "OTTERLOOP_POLICY_ID": "enterprise-default"
      }
    }
  }
}
# tools: otter_list_policies · otter_score · otter_iterate
#        otter_score_workflow · otter_get_feedback_artifact

# submit your work -> authoritative verdict
v = otter_score(
      work="...the artifact your agent produced...",
      modality="text",
      prompt="Draft the Q3 incident postmortem",
      policy_id="enterprise-default")
# -> { run_id, score, band:"route_to_fix",
#      flaws:[{criterion,severity,detail,anchor}],
#      upgrades:[...], ready_to_ship:false }

# revise against flaws[]/upgrades[], then re-submit the SAME run
d = otter_iterate(
      run_id=v["run_id"],
      work="...revised draft addressing the flaws...",
      prompt="addressed sourcing + tone")
# -> { run_id, verdict:{band:"ship",...},
#      delta:{resolved_flaws,new_flaws,persisted_flaws,
#             score_change:+18.0}, ready_to_ship:true }

# keep iterating while ready_to_ship is false.

Reines-HTTP-Äquivalent (kein MCP): POST /api/v1/eval/runs → { run_id, first_iteration.critic_verdict }, dann POST /api/v1/eval/runs/{run_id}/iterate { "decision":"re_prompt", "new_artifact_parts":[…] } → { verdict, delta }. Ein Kritiker-Ausfall schlägt GESCHLOSSEN fehl (band:quarantine) — niemals ein stilles Bestehen.

ZWEI PRÜFMODI

One‑Shot oder agentic. Sie bestimmen die Tiefe.

Nicht jede Ausgabe braucht die gleiche Prüfungstiefe. Ein One‑Shot‑Check ist ein einzelner adversarieller Durchgang — schnell, wenig Compute, inline zurückgegeben. Ein agentic Check führt die Arbeit in einer entsorgbaren, internetfähigen Sandbox aus und prüft sie über mehrere Durchgänge — langsamer, mehr Compute, asynchron zurückgegeben. Routen Sie günstige Arbeit zu One‑Shot und hochkritische Arbeit zu agentic — unter derselben Policy.

Beide Modi liefern dieselbe OtterScore-Urteilsform und schreiben denselben signierten Audit-Datensatz.

NUTZUNGSBASIERTE PREISE

Bezahlen Sie für die geleistete Arbeit.

Abgerechnet wird die Bewertung, die Sie tatsächlich ausführen, nicht eine Sitzanzahl. Ein One‑Shot‑Check ist günstig und pauschal; ein agentic Check wird nach dem benötigten Compute und der Sandbox‑Zeit abgerechnet. So wird die Bewertung jeder Ausgabe — und der gesamten Flotte — wirtschaftlich, statt die Prüfung auf eine Stichprobe zu rationieren.

Enterprise-Deployment bleibt shadow → enforce → managed; nutzungsbasierte Bewertung misst die darunterliegende Arbeit. Konkrete £‑Kalkulation auf Anfrage.