LLMs não tem "skin in the game"

LLMs não tem "skin in the game", então você precisa assumir a responsabilidade.

Começo a síntese da semana trazendo um estudo do METR sobre a performance no desenvolvimento de software assistido por IA em projetos open source. Os resultados mostram que o tempo total pode ter aumentado.

Obviamente que é um estudo inicial, com poucos devs sem usar os modelos mais potentes, mas a sensação que eu fico é que, de fato, nós passamos a entregar código mais rápido, mas demoramos mais para garantir que funciona mesmo.

O que "skin in the game" significa na prática

A minha opinião é que, mais do que apenas escrever código, precisamos garantir que ele funcione. Isso está alinhado com o argumento de que escrever código nunca foi o verdadeiro gargalo.

Por mais que os LLMs gerem código rapidamente, alguém precisa ter "skin in the game". Um humano precisa assumir a responsabilidade de que o software entregue:

• Atende aos requisitos estabelecidos
• Funciona de fato em produção
• É seguro e não introduz vulnerabilidades
• Pode ser mantido pela equipe

Profissionais experientes sabem que entregar software mal feito ou com problemas invisíveis é um tiro no pé, daí a necessidade de gastar mais tempo fazendo code review, testando, documentando etc.

Os verdadeiros gargalos permanecem

Pedro faz uma análise muito interessante no artigo "Writing Code Was Never the Bottleneck", enfatizando que escrever código nunca foi o gargalo. Os verdadeiros limitadores sempre foram:

• Code reviews
• Transferência de conhecimento
• Testes
• Debugging
• Coordenação entre equipes

LLMs podem acelerar a implementação inicial, mas não resolvem os aspectos colaborativos fundamentais da engenharia de software.

O futuro ainda é sobre amplificação, não substituição

Nesse mesmo sentido, recomendo a leitura do artigo "The Uncertain Future of Coding Careers and Why I'm Still Hopeful" que fala sobre as incertezas do momento atual e do futuro das carreiras de desenvolvimento de software.

A perspectiva do autor é equilibrada: sim, existem ansiedades legítimas, mas o futuro não trata de substituição, mas de amplificação. Programadores prosperarão como "pastores" de agentes de IA, fornecendo contexto e orientação estratégica, revisando, testando, guiando.

Conclusão

O estudo do METR sobre desenvolvimento assistido por IA corrobora o que muitos profissionais experientes já suspeitavam: a velocidade de geração de código não é o fator limitante na produtividade de desenvolvimento.

Enquanto LLMs podem ser ferramentas poderosas para acelerar certas tarefas, eles não podem assumir a responsabilidade pelo software que ajudam a criar. Essa responsabilidade - o "skin in the game" - permanece fundamentalmente humana.

Assim como não culpamos o martelo por martelar no lugar errado, não podemos culpar a IA pelo código que ela gera. A ferramenta é neutra; a responsabilidade pelo seu uso adequado é sempre de quem a empunha. LLMs são martelos muito sofisticados, mas ainda assim são ferramentas que dependem da perícia e julgamento humano para serem usadas efetivamente.

A chave é entender que nossa função está evoluindo: de escritores de código para curadores, revisores e responsáveis pela qualidade do software. E isso, ironicamente, pode significar que passamos mais tempo garantindo que o código funcione do que gerando código.