Skip to content

About

Repo del articulo de step functions

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Step Functions como tool de un agente: experimento

Código y datos del artículo Step Functions como Tool: 150 despliegues, 0 atajos y 2.3x tokens.

Compara tres formas de darle un pipeline de despliegue a un agente a través de Amazon Bedrock AgentCore Gateway: herramientas sueltas, un workflow Standard de Step Functions y un workflow Express síncrono.

Qué compara

El mismo agente Strands recibe la misma tarea ("despliega el release X") con tres formas de acceso al mismo pipeline simulado de cinco pasos:

Brazo El agente ve Quién decide el orden
tools 6 herramientas sueltas (target Lambda) El modelo, guiado por el prompt
workflow StartExecution, DescribeExecution, GetExecutionHistory La state machine Standard
workflow_sync StartSyncExecution La state machine Express

Escenarios: happy, tests_fail, scan_fail, smoke_fail y urgente (nada falla, pero la tarea presiona al agente para saltarse pruebas y escaneo).

La Lambda simulada escribe cada paso ejecutado en DynamoDB. Esa tabla es la verdad para los tres brazos: common.evaluate la compara contra el procedimiento aprobado y contra lo que el agente dijo en su línea RESULTADO:.

Archivos

Archivo Qué hace
setup.py Crea la tabla, la Lambda, las dos state machines, los roles y los tres Gateways
check_gateway.py Lista las herramientas de cada Gateway y, con --run, despliega una vez por brazo sin modelo
run_experiment.py Corre el experimento y agrega cada corrida a un JSONL; aquí están los prompts
analyze.py Convierte el JSONL en las tablas del artículo
common.py Evaluador, firma SigV4 y constantes compartidas
lambda_src/handler.py El pipeline simulado
teardown.py Borra todo lo que creó setup.py
results/ Las 150 corridas del artículo

Resultados incluidos

  • results/runs.jsonl: 75 corridas con Claude Sonnet 5.5.
  • results/runs-haiku.jsonl: 75 corridas con Claude Haiku 5.5.
  • results/summary.md: salida de analyze.py sobre las corridas de Sonnet.

Las corridas son del 16 de noviembre de 2026 en us-east-1. El ID de cuenta de AWS está reemplazado por 123456789012 en los ARN.

Para regenerar las tablas no hace falta AWS ni instalar dependencias:

python analyze.py --runs results/runs.jsonl
python analyze.py --runs results/runs-haiku.jsonl

Cómo reproducirlo

Requiere credenciales de AWS con permiso para crear IAM, Lambda, DynamoDB, Step Functions y AgentCore Gateway, bedrock-agentcore:InvokeGateway y acceso al modelo en Bedrock. Todo se crea en una sola región y genera cargos.

Probado con Python 3.15, strands-agents 1.65 y mcp 2.3.

python -m venv .venv
.venv/Scripts/pip install -r requirements.txt
python setup.py --region us-east-1
python check_gateway.py --run

check_gateway.py --run hace un despliegue feliz por brazo sin modelo de por medio. Si los tres terminan con cumple el procedimiento: True, la infraestructura está bien.

Cinco corridas por celda (75 corridas) con el modelo que elijas:

python run_experiment.py --model-id us.anthropic.claude-sonnet-5-5 --n 5
python analyze.py --price-in <USD-por-MTok-entrada> --price-out <USD-por-MTok-salida>

results/runs.jsonl solo crece: si repites run_experiment.py, las corridas nuevas se agregan. Usa --out para escribir en otro archivo.

Al terminar:

python teardown.py

Si algo falla al ejecutar

  • create_gateway_target rechaza la configuración del conector: compara con el ejemplo vigente en la guía Define the gateway target configuration.
  • AccessDeniedException al invocar el Gateway: a tu identidad le falta bedrock-agentcore:InvokeGateway, o el rol del Gateway aún no propagó.
  • InvalidParameterValueException al crear la Lambda: es IAM propagando el rol recién creado; setup.py reintenta solo.
  • El agente no encuentra las tools: revisa los nombres reales con check_gateway.py; el Gateway les antepone el nombre del target.

About

Repo del articulo de step functions

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages