config-drift-checker lleva CI/CD a setups de Claude Code

Por qué tu setup de Claude Code necesita CI como el de tu código

Cuando Anthropic publicó su guía interna sobre Skills en Claude Code el 3 de junio de 2026, el autor Thariq Shihipar confirmó algo que muchos equipos ya sospechaban: Anthropic corre "cientos" de Skills internamente y los clasifica en nueve categorías que cubren desde la verificación de producto hasta CI/CD y runbooks de producción, según reportó TechTimes. Si el propio vendor opera a esa escala, las configuraciones de los equipos de sus clientes — CLAUDE.md, skills, hooks — son activos críticos que cambian todos los días y que nadie estaba testeando.

Ahí entra config-drift-checker, un plugin open source publicado por jameskomo en GitHub el 27 de agosto de 2026. Es el primer intento serio de llevar CI/CD al setup del agente, no al código que escribe.

Qué hace exactamente config-drift-checker

El plugin lee tu CLAUDE.md, tus skills y tus hooks, y los traduce a casos de prueba usando el formato nativo claude plugin eval de Anthropic. Cada caso es un prompt, unos graders (regex, uso de herramientas, archivos, rúbrica LLM) y un scaffold opcional que monta un repo limpio o copia tu código real. El setup se autogenera desde tu configuración real, así que no empiezas desde una hoja en blanco.

🤖 La IA no es solo para leer sobre ella

En la comunidad la aplicamos: automatización, agentes IA y herramientas reales para emprender, no solo para informarte.

👥 Aplicarla en la comunidad

Luego corre el agente real contra esos casos en:

Cada release de Claude Code (un watcher sondea npm).
Cada PR que toca el setup.
Manualmente, cuando quieras.

El output no es un pass/fail mudo: incluye el veredicto de cada grader, la explicación del juez, las llamadas a herramientas y la respuesta completa. Luego lo diff contra tu baseline y dispara:

Check rojo o verde en el PR.
Comentario automático en el PR.
Alerta en Slack.
Reporte HTML autocontenido.

Una pieza clave es la ablación: corre los mismos casos con y sin tu plugin. La diferencia te dice qué skill o hook realmente aporta. En la demo, el guard hook resultó ser lo único que frena confiablemente un comando destructivo, y un skill de convenciones no aportaba nada que el codebase y CLAUDE.md no cargaran ya.

Por qué la configuración de agentes se rompe sin que lo notes

El autor del plugin señala tres vectores de drift que no existían hace dos años:

Claude Code publica versiones sin parar — 25 releases en los 30 días previos a la publicación, según la documentación del repo.
El modelo detrás de un alias cambia silenciosamente — el día que sonnet apunta a otra versión server-side no hay changelog que avise.
Un teammate edita un skill en un PR que nadie testea — y "deja de correr los tests antes de commitear" lo descubre un developer semanas después.

La promesa del plugin es reemplazar ese ciclo de descubrimiento pasivo por alertas activas. No es un linter de markdown ni un test de calidad general del modelo: testea tu configuración sobre tus tareas, en tu máquina o tu CI, con tu API key.

El contexto: Skills y plugins se están convirtiendo en estándar

config-drift-checker llega en un momento en el que el ecosistema de configuración de agentes se está consolidando como capa propia del stack. Dos movimientos recientes lo respaldan:

Agent Plugins 1.0, estándar abierto cross-client. Según Visual Studio Magazine, el 24 de julio de 2026 un comité técnico con representantes de Amazon, Cursor, Microsoft, OpenAI y Vercel publicó el estándar Agent Plugins 1.0 para empaquetar Agent Skills y servidores MCP de forma portable. Google se sumó como core maintainer el 6 de agosto de 2026. Los clientes compatibles incluyen VS Code, Cursor, GitHub Copilot, ChatGPT, Codex y Kiro. El estándar define un plugin.json raíz y directorios fijos para skills y MCP, pero deja hooks, slash commands y custom agents como capacidades client-specific.

VS Code adoptó el formato de Claude Code. Las release notes de VS Code 1.109, publicadas el 4 de febrero de 2026, introdujeron "Claude compatibility": el editor lee CLAUDE.md directamente, soporta .claude/rules, .claude/agents, .claude/skills y el formato de hooks de Claude Code. Para los equipos que ya viven entre VS Code y Claude Code, esto significa que un mismo set de instrucciones funciona en ambos sin duplicación.

Microsoft y Anthropic también profundizaron la integración en noviembre de 2025: Anthropic se comprometió a comprar USD 30.000 millones en capacidad de cómputo de Azure, y Microsoft anunció una inversión de hasta USD 5.000 millones en Anthropic, reportó Visual Studio Magazine.

Qué significa esto para tu startup

Si tu equipo ya usa Claude Code con skills y hooks personalizados, tienes activo de producción sin cobertura de tests. La pregunta no es si va a drift, es cuándo pasó la última vez y no lo sabes.

Acción concreta 1 — Audita qué skill aporta y qué sobra. Instala el plugin, corre la suite, y mira el delta de ablación. La demo encontró un skill de convenciones con aporte cero. Probablemente tú también tienes algo así consumiendo tokens cada sesión. Cada skill que se queda sin probar cuesta contexto y dinero.

Acción concreta 2 — Versiona tu setup como código crítico. Trata CLAUDE.md, skills y hooks con el mismo cuidado que tu API pública. PRs sin tests sobre el setup deberían ser rechazados igual que PRs sin tests sobre el código. config-drift-checker te da el andamiaje gratis: una GitHub Action, un secret (ANTHROPIC_API_KEY), y el pipeline corre solo en cada release de Claude Code.

Acción concreta 3 — Prepárate para el estándar abierto. Aunque config-drift-checker usa el formato nativo de Anthropic, el movimiento de Agent Plugins 1.0 sugiere que en pocos meses skills van a ser portables entre Claude Code, Cursor, Copilot y ChatGPT. Empezar a testear tu setup hoy te posiciona para migrar de cliente sin perder el comportamiento del agente.

El espacio de configuración de agentes dejó de ser "un markdown que alguien mantiene" y pasó a ser infraestructura testeable. Los equipos que lo entiendan primero van a iterar más rápido sobre Claude Code sin que el setup se les vaya de las manos.