Introdução

Devido ao crescimento exponencial da disponibilidade de dados e de poder computacional, os Grandes Modelos de Linguagem (do inglês, Large Language Models, LLMs) levaram a avanços significativos em diversas tarefas de Processamento de Linguagem Natural (do inglês, Natural Language Processing, NLP), como sumarização, tradução automática, análise de sentimentos e geração de texto . No entanto, por serem treinados com dados generalistas, esses modelos apresentam frequentemente desempenho limitado em domínios especializados, nos quais há escassez de dados textuais públicos e, consequentemente, sub-representação durante o pré-treinamento . Como forma de mitigar essa limitação, técnicas de fine-tuning permitem que LLMs, como o GPT-4 e o LlaMA, sejam adaptados a contextos especializados, refinando seu desempenho em tarefas específicas.

O fine-tuning aproveita os padrões aprendidos por um modelo de LLM pré-treinado, permitindo a transferência dos pesos de parâmetros ajustados para novas tarefas. Dessa forma, essa técnica reduz a necessidade de grandes volumes de dados rotulados, enquanto melhora o desempenho do modelo em domínios específicos . Entretanto,devido à própria natureza dos LLMs, que consistem em bilhões de parâmetros, os custos associados ao fine-tuning podem ser elevados e computacionalmente ineficientes . Surgem então as técnicas de Parameter-Efficient Fine-Tuning (PEFT) que permitem o ajuste de um subconjunto de parâmetros, mantendo a maior parte dos parâmetros congelados, reduzindo drasticamente os custos computacionais associados .

Com isso em vista, este trabalho tem como objetivo utilizar técnicas PEFT para analisar a viabilidade do uso de fine-tuning para o refinamento de linguagem institucional da UFS. Essa abordagem se faz necessária para que o refinamento possa ser feito em ambientes com recursos computacionais limitados.

Para tal, será treinado um LLM a partir de documentos institucionais da UFS, tendo seu desempenho comparado ao do modelo pré-treinado base, anterior ao refinamento. O experimento é uma prova de conceito, mais voltada à adequação da linguagem específica da instituição do que à factualidade dos dados.

Fundamentação Teórica

Evolução dos modelos de NLP para LLMs

Nesta seção, são introduzidos alguns conceitos fundamentais para o entendimento do presente trabalho. Será abordada, primeiramente, a evolução dos modelos de NLP ao advento dos LLMs, destacando alguns modelos disruptivos que se tornaram marcos históricos, devido às inovações que apresentaram em suas respectivas épocas.

As primeiras abordagens de NLP utilizavam modelos estatísticos baseados em n-gramas que, por sua vez, são conjuntos de palavras que aparecem juntas. Os modelos estatísticos fazem a previsão de uma próxima palavra dados os n-gramas precedentes . No entanto, por considerarem apenas as n palavras anteriores, esses modelos falham em capturar o contexto, resultando em limitações para estabelecer relações entre palavras em textos grandes.

Diante desses problemas, o modelo TF-IDF surgiu como uma alternativa. Considerando a frequência de cada palavra em um documento, em relação à frequência da mesma palavra em um corpus linguístico, o TF-IDF consegue calcular as palavras mais relevantes em um texto . Dessa forma, o TF-IDF pode lidar com textos maiores, sem se limitar à janela de contexto de palavras vizinhas, como os n-gramas.

Rompendo com as abordagens estatísticas e baseadas em frequência, o Word2Vec passou a utilizar representações vetoriais das palavras, conhecidas como word embeddings. Ao representar palavras em um espaço vetorial, o modelo permitiu que a semântica passasse a ser considerada, possibilitando o entendimento de relações como sinônimos e antônimos, além de operações aritméticas entre palavras. No entanto, uma das limitações dessa abordagem é que palavras como "banco", que possuem significados diferentes de acordo com o contexto, passam a ter a mesma representação vetorial, o que pode causar problemas de contexto dinâmico.

A arquitetura Transformers utiliza o mecanismo de autoatenção (self-attention), que analisa todas as palavras de uma frase, atribuindo pesos, de acordo com sua relevância para o contexto. Dessa forma, resolve o problema enfrentado pelo Word2Vec, ao considerar contexto dinâmico. Ou seja, significados diferentes para a mesma palavra podem agora ter representações vetoriais distintas.

A arquitetura Transformers é composta por um codificador (encoder) e um decodificador (decoder). O encoder é responsável por receber os embeddings e adicionar o mecanismo de self-attention, dando um maior peso às palavras consideradas relevantes, encaminhando a uma camada de redes neurais. O decoder, por sua vez, recebe a representações geradas pelo encoder e gera a saída, uma palavra por vez (autoregressivas).

Entre os modelos baseados na arquitetura Transformer, destacam-se o Bidirectional Encoder Representations from Transformers (BERT) e o Generative Pre-Training Transformer (GPT) . O BERT utiliza exclusivamente a arquitetura de encoder e emprega aprendizado bidirecional, permitindo a análise do contexto tanto anterior quanto posterior a cada palavra. Por outro lado, o GPT adota apenas a arquitetura de decoder e realiza previsões autoregressivas, estimando a próxima palavra com base nas palavras anteriores de um texto.

Fine-tuning

Dada a relevância desses modelos para a área de NLP, o fine-tuning se tornou a principal forma de adaptar os LLMs para tarefas de domínios específicos , aproveitando o conhecimento prévio de modelos pré-treinados e evitando a necessidade de treinar todo um modelo do início.

O fine-tuning convencional requer o treinamento de todos os parâmetros do modelo, substituindo a última camada pela nova camada ajustada à tarefa. Como a quantidade de parâmetros de um LLM pode chegar a bilhões, essa operação pode se tornar excessivamente custosa. Os métodos PEFT buscam, então, ajustar apenas um subconjunto do total de parâmetros, tornando o processo de fine-tuning mais viável.

Dentre as técnicas de PEFT que serão abordadas no presente trabalho estão o Adapter tuning, que consiste na inserção de pequenos módulos entre as camadas Transformer e o Low-Rank Adaptation (LoRA) , que reduz os custos de ajuste do modelo ao congelar a maioria dos parâmetros e usando matrizes de decomposição para realizar o fine-tuning.

Trabalhos relacionados

Domain Specific Finetuning of LLMs Using PEFT Techniques

Neste trabalho, avaliam quatro técnicas de fine-tuning PEFT: LoRA, QLoRA, DoRA e Prompt Tuning, aplicadas a modelos de código aberto (LLaMA 3.1 8B, Phi 3.5 e Gemma 2 9B) nos domínios de direito imigratório e seguros. Os autores estabelecem um benchmark de desempenho utilizando um modelo GPT-4o customizado e aplicam o framework "LLM-as-a-Judge" para avaliar a relevância e a correção das respostas.

Os resultados demonstram que as técnicas LoRA e QLoRA superam consistentemente as outras abordagens, oferecendo o equilíbrio ideal entre eficiência computacional e adaptação específica ao domínio. O estudo observou que a técnica QLoRA obteve melhor desempenho no domínio de imigração, que exige maior precisão em dados estruturados, enquanto o LoRA mostrou-se particularmente eficaz no domínio de seguros, que lida com maior diversidade de consultas. Por fim, o artigo conclui que o Prompt Tuning, apesar de ser computacionalmente leve, falha em capturar as nuances complexas de domínios especializados, e destaca que modelos menores, quando otimizados, podem rivalizar ou até superar modelos de uso geral maiores.

Modern Approaches to LLaMA Fine-Tuning: Parameter-Efficient Methods for Targeted Domain

Neste trabalho, apresentam uma análise abrangente de métodos de PEFT para modelos LLaMA, visando facilitar a adaptação a domínios especializados como saúde, governo, finanças e oceanografia, sem os custos computacionais elevados do full fine-tuning. Os autores avaliam técnicas como LoRA, QLoRA e LongLoRA, destacando que o LoRA proporciona uma melhoria de até 9 vezes na eficiência de treinamento, mantendo um desempenho competitivo com a adição de apenas uma fração de parâmetros treináveis. O estudo demonstra otimizações significativas de recursos, reduzindo o uso de memória GPU de 64GB para 37GB e apontando potenciais reduções de custo de até 190 vezes em comparação com alternativas comerciais. O artigo conclui com recomendações práticas para a implementação, enfatizando que a qualidade dos dados de treinamento é o determinante principal para o sucesso da adaptação.

Low-Resource Fine-Tuning of LLMs for Domain-Specific Tasks

Neste trabalho, investigam estratégias de fine-tuning eficiente em parâmetros (PEFT) para adaptar LLMs a domínios específicos, como saúde e energia, em ambientes com recursos computacionais limitados. Os autores avaliam técnicas como LoRA, Adapters, Prompt Tuning e BitFit, comparando seu desempenho, consumo de memória e tempo de processamento frente ao full fine-tuning em uma única GPU. Os resultados demonstram que o LoRA atinge um desempenho próximo ao do full fine-tuning (95-98%) utilizando apenas 0,5-1% dos parâmetros, sendo altamente eficaz para domínios com terminologia sensível, como na área de saúde. Por outro lado, os Adapters mostraram-se uma alternativa eficiente e modular para tarefas de classificação no setor de energia. O estudo conclui que a aplicação de métodos PEFT, especialmente estratégias híbridas, democratiza o acesso a modelos especializados ao equilibrar com sucesso a precisão da tarefa e o custo computacional.

Em contraste aos trabalhos citados, que exploram a aplicação de técnicas de fine-tuning em domínios abrangentes como saúde, direito e finanças , utilizando frequentemente infraestruturas de alto desempenho, o que é proposto no presente trabalho é a adaptação de modelos de linguagem para o contexto específico da linguagem institucional da UFS. Enquanto as pesquisas referenciadas priorizam métricas de desempenho em benchmarks de mercado, este trabalho foca na prova de conceito sobre a adequação semântica de documentos oficiais, avaliando a viabilidade técnica da implementação dessas técnicas em ambientes de computação pessoal com recursos estritamente limitados. Busca-se, dessa forma, demonstrar que a personalização de modelos de linguagem pode ser uma prática acessível para instituições acadêmicas, independentemente de grandes investimentos em infraestrutura computacional.

Método

Nesta seção, serão descritos os procedimentos para o desenvolvimento da prova de conceito do presente trabalho, cujo objetivo é o estudo da viabilidade do uso de técnicas PEFT para o treinamento de LLM para o refinamento de linguagem natural, voltada ao ambiente institucional da UFS.

Considerando a natureza experimental deste estudo e a premissa de viabilizar o treinamento em cenários de recursos computacionais limitados, a metodologia foi estruturada para garantir a reprodutibilidade dos experimentos e a clareza na análise do desempenho dos modelos. O processo de pesquisa foi organizado de forma a contemplar desde a curadoria dos dados institucionais até a avaliação comparativa do modelo refinado em relação ao seu estado base.

O ambiente utilizado na execução do presente trabalho foi o Google Colab, com Unidades de Processamento Gráfico (do inglês, Graphics Processing Unit, GPU) T4, especificado, de acordo com o manual de referência , com memória 16 GB GDDR6, com largura de barramento de 256 bits e largura de banda de pico de até 320 GBytes/s, clock base de 585 MHz e boost máximo de 1590 MHz.

Para viabilizar essa análise, a estrutura deste capítulo abrange: a descrição da coleta, limpeza e estruturação do conjunto de dados composto por documentos da UFS; a seleção e especificação do LLM base utilizado; a configuração dos experimentos de fine-tuning com as técnicas PEFT selecionadas; e a definição das métricas quantitativas e qualitativas utilizadas para a avaliação do desempenho e da qualidade do refinamento alcançado.

Coleta e estruturação do conjunto de dados

Para a construção do conjunto de dados de treinamento, foram utilizados, como dados brutos, documentos no formato PDF, contendo resoluções e portarias da UFS. Os documentos brutos foram obtidos através do Sistema Eletrônico de Informações (SEI)¹. Foram selecionados 180 documentos de portarias e 131 documentos de resoluções, todas publicadas entre 01/01/2025 a 31/12/2025.

Para a criação do dataset de treinamento, foi utilizado o modelo Gemini 2.5 Flash, com o seguinte prompt [prompt_gemini_geracao]:

"Você é um agente especialista em geração de perguntas e respostas.
Analise o documento fornecido e, a partir dele, gere uma pergunta e uma resposta relacionadas ao conteúdo do documento.
Seu objetivo é criar um par de Pergunta e Resposta (QA) para finetuning de um modelo jurídico/institucional.
Gere apenas uma pergunta e apenas uma resposta. Certifique-se que a pergunta seja baseada no conteúdo do documento fornecido.
Certifique-se de que a resposta exista dentro do arquivo fornecido.
Certifique-se de que a resposta gerada cite o documento fornecido.
Certifique-se de copiar o texto integralmente para o campo 'contexto'.

- A pergunta deve simular uma dúvida de um aluno ou membro da comunidade.
- A resposta deve ser formal, técnica e citar explicitamente artigos, parágrafos ou o nome da portaria presente no texto.
- O campo 'contexto' deve ser uma citação direta do documento, sem resumos."

Para cada uma das resoluções, foram geradas oito perguntas e respostas, sem repetição, resultando em um conjunto de dados composto por 2450 linhas, cada linha trazendo a pergunta gerada, sua respectiva resposta e o contexto; ou seja, o documento utilizado como referência para a resposta.

Seleção e especificação do modelo

Para a modelagem, foi escolhido como modelo base o Llama 3.1 8B Instruct², devido à sua compatibilidade com o ambiente de execução supracitado. Desenvolvido pela Meta, o Llama 3.1 8B Instruct faz parte da família de modelos multilinguagem, lançados em Julho de 2024, com suporte aos idiomas Inglês, Alemão, Francês, Italiano, Português, Hindi, Espanhol e Tailandês , de acordo com a documentação do projeto.

São modelos autoregressivos, com base em uma arquitetura Transformers otimizada. As versões Instruct incorporam técnicas de Supervised Fine-Tuning (SFT) e Reinforcement Learning With Human Feedback (RLHF). Os modelos dessa família tiveram como data de corte da sua base de conhecimento datada em dezembro de 2023.

Configuração e parâmetros de fine-tuning

O processo de treinamento foi conduzido utilizando a biblioteca SFTTrainer Supervised Fine-tuning Trainer, integrada ao ecossistema Transformers da Hugging Face. Para viabilizar o refinamento do modelo Llama 3.1 8B Instruct em um ambiente de hardware limitado (GPU T4 com 16 GB de VRAM), optou-se pela utilização da técnica PEFT Low-Rank Adaptation (LoRA).

A estratégia de prompt adotada consistiu na formatação dos dados em pares de instrução, estruturados para o formato de diálogo do Llama 3. O padrão de entrada foi definido pela função format_prompt(), que encapsula o contexto institucional da UFS, a pergunta formulada e a respectiva resposta esperada, utilizando os tokens especiais <|begin_of_text|>, <|start_header_id|>, <|end_header_id|> e <|eot_id|>.

A configuração do LoRA, definida através da classe LoraConfig, visou reduzir o número de parâmetros treináveis ao focar nas camadas de projeção de consulta (query) e valor (value), conforme os parâmetros apresentados na 4.1.

Para otimizar o consumo de memória durante o treinamento, foram configurados hiperparâmetros de eficiência. O otimizador paged_adamw_32bit foi empregado para gerenciar a paginação de memória entre a GPU e a CPU. Adicionalmente, foi ativado o suporte a precisão reduzida (fp16=True) e o ruído NEFTune (neftune_noise_alpha=5), que atua na regularização do treinamento para evitar overfitting em conjuntos de dados menores. A 4.2 resume os argumentos de treinamento utilizados.

O ciclo de treinamento foi monitorado por meio do callback EarlyStoppingCallback, definido em 2 épocas, configuração necessária para garantir que o treinamento fosse interrompido caso o modelo atingisse o ponto de convergência, evitando o desperdício de tempo, recursos computacionais e minimizando o risco de sobreajuste do modelo.

Definição das métricas de avaliação

Para avaliar o desempenho do modelo treinado, foram utilizadas abordagens quantitativas e qualitativas, através de diversas métricas de desempenho consolidadas na área de NLP. As métricas utilizadas avaliam diversos aspectos, como palavras utilizadas na resposta do modelo, via n-gramas; similaridade semântica, com base em embeddings e aspectos mais subjetivos, com o uso de LLM para avaliação. Nas seções seguintes, são definidas cada uma das métricas utilizadas.

Métricas baseadas em sobreposição

Bilingual Evaluation Understudy (BLEU): Utilizada principalmente na avaliação de traduções automáticas, o Bilingual Evaluation Understudy (BLEU) é uma métrica baseada em n-gramas. Esse algoritmo verifica quantos grupos de palavras aparecem no texto original e no texto gerado por máquina. Essa métrica tem como saída um valor entre 0 e 1, indicando o quão similares são os textos. Quanto mais próximo de 1, maior a similaridade. Nesse sentido, uma das suas limitações é que o BLEU se limita à correspondência de termos, não avaliando, assim, a semântica.

Recall Oriented Understudy for Gisting Evaluation (Rouge): O Rouge também é uma métrica projetada para avaliar a qualidade de textos gerados por máquina, que também faz uso de n-gramas. Diferentemente do BLEU, o Rouge é uma métrica mais voltada à revocação (recall) que à precisão. O Rouge avalia a similaridade entre o texto gerado pelo modelo e uma referência humana através de diferentes métricas, as quais:

• Rouge-N: Calcula a sobreposição de n-gramas. O Rouge-1 (unigramas) é frequentemente utilizado para medir a cobertura de conteúdo informativo, enquanto o Rouge-2 (bigramas) avalia a fluidez e a coesão local.

• Rouge-L: Baseia-se na Maior Subsequência Comum (do inglês, Longest Common Subsequence,LCS). Esta métrica não exige que as palavras sejam consecutivas, capturando a estrutura da sentença e a organização dos dados, sendo menos rígida que métricas baseadas apenas em n-gramas adjacentes.

Métricas semânticas

Similaridade de Cosseno (Cosine Similarity): Essa métrica é utilizada para quantificar a proximidade semântica entre textos, avaliando o ângulo entre seus vetores de embeddings. Também é uma métrica com o valor de 0 a 1. Quanto mais próximo de 1, mais similares são os textos. Para dois vetores $\mathbf{a}$ e $\mathbf{b}$, a similaridade de cosseno é definida como: $$\begin{equation} \mathrm{cos\_similarity}(\mathbf{a},\mathbf{b}) = \frac{\mathbf{a}\cdot\mathbf{b}}{\lVert\mathbf{a}\rVert\,\lVert\mathbf{b}\rVert} \end{equation}$$

BERTScore: É uma métrica de avaliação automática que quantifica a similaridade entre textos gerados e referências humanas através do uso de embeddings contextuais. Ao contrário de métricas tradicionais que buscam a coincidência exata de tokens (como o BLEU ou ROUGE), o BERTScore avalia a proximidade semântica no espaço vetorial gerado por modelos de linguagem pré-treinados, como o BERT.

O cálculo do BERTScore ocorre em três etapas principais:

1. Representação Contextual: O modelo utiliza um modelo de linguagem (neste trabalho, um modelo multilíngue) para transformar cada token das sentenças gerada e de referência em embeddings que capturam o contexto da palavra na frase.

2. Alinhamento e Similaridade: A métrica realiza um alinhamento ganancioso (greedy matching) para cada token da sentença gerada com o token mais similar da sentença de referência, utilizando a similaridade de cosseno entre seus vetores.

3. Agregação: A partir das similaridades calculadas, são derivadas as métricas de Precisão (precision), recall e o F1-Score. A precisão indica o quão bem os tokens da resposta gerada correspondem aos da referência, enquanto a revocação indica o quanto do conteúdo da referência foi capturado pelo modelo.

Avaliação por LLM-as-a-Judge

O LLM-as-a-Judge é uma técnica de avaliação automatizada que utiliza um modelo de linguagem de grande porte, dotado de alta capacidade de raciocínio, para atuar como um auditor da qualidade das respostas geradas por outro modelo. Diferente de métricas estáticas, esta abordagem permite uma avaliação dinâmica, capaz de interpretar nuances semânticas, o tom de voz e a adesão a instruções complexas. O processo fundamenta-se na utilização de uma rubrica de avaliação clara, fornecida ao modelo juiz via prompt. O modelo juiz analisa o par pergunta-resposta, comparando-o com um gabarito de referência e, através de uma configuração de saída estruturada, atribui pontuações numéricas acompanhadas de justificativas técnicas.

O uso dessa métrica traz algumas vantagens em relação às métricas supracitadas; enquanto métricas como o BLEU ou Rouge ignoram a intenção do usuário ou as nuances estilísticas do texto, o LLM-as-a-Judge pode ser instruído a verificar se a resposta mantém um estilo formal e burocrático, intrínseco a documentos institucionais. Além disso, o modelo juiz pode fornecer uma justificativa detalhada para a nota atribuída, permitindo identificar padrões de falhas, como alucinações factuais ou desvios de estilo, que métricas numéricas não revelariam, trazendo assim, mais interpretabilidade. Quanto à escalabilidade, a técnica permite avaliar centenas de inferências com baixo custo operacional, quando é financeiramente inviável utilizar uma equipe humana.

Avaliação

A etapa de avaliação teve como objetivo mensurar o impacto do refinamento via técnicas PEFT, comparando a eficácia do modelo Llama 3.1 8B Instruct em seu estado base com a versão submetida ao fine-tuning com dados institucionais da UFS. O procedimento de avaliação foi estruturado em três eixos: métricas de similaridade textual, métricas de similaridade semântica e uma avaliação qualitativa realizada via LLM-as-a-Judge.

Procedimento de Inferência

Para ambos os modelos, o processo de geração de respostas utilizou o conjunto de dados de teste, composto por 100 amostras não vistas durante o treinamento. As inferências foram configuradas com temperatura de 0.1 para garantir a determinidade das respostas, penalidade de repetição de 1.1 e um limite máximo de 256 tokens por resposta, garantindo que o modelo se mantivesse conciso e aderente ao contexto institucional. As respostas geradas foram armazenadas em arquivos estruturados no formato CSV (do inglês, Comma Separated Values).

Métricas Quantitativas

Para a similaridade léxica foram computadas as métricas ROUGE (1, 2 e L) e BLEU, que verificam a sobreposição de n-gramas entre a resposta do modelo e o gabarito oficial (resposta real). Similaridade Semântica: Para avaliar a proximidade de significado independentemente do vocabulário exato, utilizou-se o BERTScore (com modelo multilingue configurado para o idioma português) e a Similaridade de Cosseno, esta última operando sobre vetores de embeddings gerados pelo modelo paraphrase-multilingual-MiniLM-L12-v2.

Avaliação qualitativa

Dada a natureza institucional dos documentos, métricas lexicais como ROUGE podem falhar ao não capturar o tom de voz e a formalidade burocrática necessária. Para sanar essa lacuna, adotou-se o modelo Gemini 2.5 Flash como auditor institucional. O modelo juiz operou sob uma rubrica de pontuação de 1 a 5, com o seguinte prompt de instruções [prompt_judge]:

"Você é um auditor sênior de comunicação institucional da Universidade Federal de Sergipe (UFS),
especialista em manter a identidade, o tom de voz e a formalidade da universidade.

Sua tarefa é avaliar a resposta gerada por um modelo de IA. Sua prioridade máxima é avaliar se a resposta:
1. Mantém a Persona Institucional (Linguagem formal, burocrática, clara e adequada à Universidade Federal de Sergipe).
2. Captura a Intenção da Pergunta (A resposta é útil e resolve a dúvida do usuário, mesmo que com pequenas imprecisões técnicas).

Antes de pontuar, identifique:
1. Tom de Voz: A linguagem está adequada a um documento oficial da Universidade Federal de Sergipe?
2. Alinhamento Institucional: A resposta reconhece a Universidade Federal de Sergipe e usa a terminologia correta?
3. Utilidade da Resposta: A resposta entrega o "sentido" correto, ainda que com erros periféricos em dados numéricos ou datas?
4. Precisão Técnica: (Peso secundário) Existem erros técnicos graves que invalidam a informação principal?

Rubrica de pontuação:
Nota 5 (Excelente): Resposta perfeita em tom, linguagem, estrutura e precisão factual. Alinhamento total com a persona da Universidade Federal de Sergipe.
Nota 4 (Bom): Excelente tom institucional e clareza. Captura a intenção da resposta perfeitamente, mas com erros mínimos (ex: uma data ou nome de departamento secundário) que não prejudicam a utilidade.
Nota 3 (Aceitável): A resposta mantém o tom formal e burocrático da UFS e acerta a decisão/caminho principal (ex: confirma aprovação ou negação corretamente), mas comete erros em detalhes técnicos (datas, número de portaria, valores). A resposta é útil e demonstra que o modelo "sabe" como a instituição funciona.
Nota 2 (Ruim): O tom de voz está incorreto ou a resposta, embora formal, falha ao capturar a intenção da pergunta, sendo inútil ou irrelevante.
Nota 1 (Péssimo): Linguagem confusa, resposta desconexa com a pergunta do usuário, ou o modelo falha completamente em manter a persona da Universidade Federal de Sergipe, inventando uma identidade institucional errada.

PERGUNTA: {pergunta}
GABARITO: {referencia}
RESPOSTA GERADA: {previsao}

Responda APENAS no formato JSON seguindo o schema fornecido. Na justificativa, explique como a linguagem está alinhada à UFS e onde, especificamente, ocorreram as falhas factuais que impediram a nota máxima."

Resultados e Discussão

Este capítulo apresenta os resultados experimentais obtidos a partir da aplicação das técnicas de refinamento via LoRA no modelo Llama 3.1 8B Instruct, bem como a avaliação comparativa deste modelo refinado em relação ao seu estado base.

O objetivo central desta análise é verificar se o refinamento do modelo com dados do corpus institucional da UFS resultou em um ganho mensurável de precisão factual, adequação à persona institucional e redução de alucinações. Para tanto, os dados obtidos durante o procedimento de inferência foram consolidados, normalizados e submetidos a testes estatísticos, cujos resultados são detalhados nas seções a seguir, acompanhados de uma discussão sobre as implicações de cada métrica para o uso prático do modelo no ambiente universitário.

A 5.1 traz um resumo comparativo de cada uma das métricas para o modelo base e para o modelo refinado:

Análise Quantitativa

A avaliação quantitativa iniciou-se com a análise das métricas lexicais, que mensuram a sobreposição de termos entre a resposta gerada pelo modelo e a resposta de referência. Este conjunto de métricas é essencial para verificar se o modelo aprendeu o vocabulário técnico e a terminologia específica do corpus institucional da UFS.

ROUGE

As métricas ROUGE-1, ROUGE-2 e ROUGE-L foram utilizadas para avaliar a fidelidade da geração textual em diferentes níveis de granularidade. Os resultados obtidos demonstram uma evolução consistente do modelo após o processo de fine-tuning via LoRA.

• ROUGE-1: O modelo treinado obteve um incremento de 8,42% em relação ao modelo base. Este ganho indica que o refinamento foi eficaz em adaptar o léxico do modelo aos termos fundamentais presentes nos documentos oficiais da universidade, como nomenclaturas de órgãos e siglas normativas.

• ROUGE-2: Esta métrica apresentou o ganho mais expressivo, com um aumento de 16,84%. Como o ROUGE-2 avalia bigramas (pares de palavras consecutivas), este resultado é um indicativo de que o modelo passou a reproduzir sequências de palavras mais coesas e naturais ao estilo institucional, superando a tendência do modelo base de gerar frases mais genéricas ou desconexas.

• ROUGE-L: O ROUGE-L apresentou uma melhoria de 14,68%. Este dado sugere que o modelo refinado foi capaz de estruturar as sentenças de forma mais alinhada à organização sintática encontrada nos documentos originais das resoluções e portarias.

Em conjunto, os resultados das métricas ROUGE validam a eficácia do fine-tuning na adaptação do estilo de texto. O modelo base, embora capaz de gerar texto fluido, carecia da precisão terminológica necessária para o domínio institucional da UFS. O refinamento permitiu que o modelo incorporasse o padrão de escrita desses documentos, resultando em uma maior sobreposição lexical com os textos de referência utilizados como gabarito.

BLEU

Enquanto as métricas ROUGE priorizam a revocação (recall) do conteúdo, a métrica BLEU concentra-se na precisão, avaliando a proporção de n-gramas gerados que correspondem exatamente aos encontrados nos gabaritos de referência. Este indicador mede a exatidão sintática do modelo.

O modelo refinado apresentou uma evolução de 17,98% nessa métrica. Ademais, observou-se uma melhora consistente na precisão de todos os níveis de n-gramas:

• 1-grama: 0,27% para 0,30%

• 2-gramas: 0,11% para 0,13%

• 3-gramas: 0,08% para 0,09%

• 4-gramas: 0,06% para 0,07%

O incremento na métrica BLEU é particularmente relevante no domínio institucional. Em textos jurídicos e normativos, a ordem correta das palavras (como a disposição dos artigos ou o nome formal de uma portaria) é determinante para a validade da informação. O aumento observado indica que o modelo treinado tornou-se mais assertivo ao replicar as sequências de palavras utilizadas nos documentos oficiais da UFS, reduzindo a divergência lexical observada no modelo base.

Cosine Similarity

Diferente das métricas lexicais, que se detêm na sobreposição direta de palavras, a Similaridade de Cosseno foi empregada para avaliar a proximidade semântica global entre a resposta gerada e o gabarito.

O refinamento proporcionou uma melhoria de 4,68% na Similaridade de Cosseno. Esse incremento demonstra que o modelo, após o fine-tuning, passou a gerar respostas cujos vetores semânticos estão mais alinhados com o domínio institucional da UFS. Ou seja, o modelo refinado não apenas repete as palavras utilizadas na escrita dos documentos oficiais, mas também exibe uma maior coerência temática. Assim, essa métrica confirma que o modelo treinado gera respostas com a semântica mais próxima ao gabarito.

BERTScore

O refinamento resultou em um incremento de 3,17% na pontuação F1 semântica. Embora este ganho percentual pareça mais modesto do que os observados nas métricas lexicais (ROUGE e BLEU), ele demonstra um incremento semântico no modelo treinado, em relação ao modelo base. No contexto de modelos de linguagem de grande escala, como o Llama 3.1, a base já possui uma capacidade semântica prévia muito alta, obtida durante seu pré-treinamento; portanto, obter uma melhora após o fine-tuning indica que o modelo conseguiu ajustar seu vocabulário e a estrutura específica da UFS.

Este aumento demonstra que o modelo treinado não apenas replica as palavras-chave, conforme sugerido pelas métricas de ROUGE e BLEU, mas também gera sentenças que, do ponto de vista semântico, estão mais próximas do caráter dos documentos oficiais. O fato de o BERTScore ter superado o modelo base reafirma que a adaptação via LoRA foi bem-sucedida em alinhar o modelo à linguagem da instituição, reduzindo o distanciamento entre as respostas geradas e o gabarito normativo, mesmo que a base de conhecimento original do modelo já fosse extensa.

LLM-as-a-Judge

Enquanto as métricas quantitativas anteriores focam na precisão terminológica e semântica, a avaliação via LLM-as-a-Judge visou verificar a aderência dos modelos à persona institucional da UFS. O modelo juiz, configurado com uma rubrica rigorosa, atribuiu notas de 1 a 5 baseadas no alinhamento institucional e precisão factual do discurso. Os resultados estão consolidados na 5.2.

Analisando as justificativas dadas pelo judge para cada uma das notas, temos:

Modelo Base

A análise das justificativas fornecidas pelo modelo juiz para o modelo base revelou padrões recorrentes de falhas que fundamentaram as notas atribuídas. A interpretação desses argumentos permite compreender as limitações do modelo Llama 3.1 8B Instruct quando operando sem refinamento no domínio institucional da UFS.

A maioria das respostas (62%) recebeu a nota mínima, sendo caracterizada por falhas críticas, principalmente, nos seguintes aspectos:

1. Alucinação Factual Grave: O argumento mais frequente do juiz foi a invenção de dados. O modelo base frequentemente criava nomes de departamentos que não existem, citava portarias inexistentes ou errava a data de vigência de resoluções. O juiz apontou que essas respostas não apenas são inúteis, mas "potencialmente enganosas", pois o modelo prioriza a fluidez gramatical em detrimento da veracidade factual.

2. Quebra de Persona: O juiz identificou que o modelo base falha em adotar a linguagem burocrática da UFS, utilizando introduções genéricas como "De acordo com meu conhecimento atualizado...". Esse estilo foi categorizado como "informal e inadequado" para um comunicado oficial da universidade, indicando que o modelo, por padrão, comporta-se como um assistente de uso geral e não como um órgão oficial.

3. Alucinação de identidade: Frequentemente o modelo confunde a instituição "UFS" com "Universidade Federal do Sul", falhando em detectar o contexto específico ao qual a pergunta do usuário se refere.

4. Desconexão com a Fonte: Em diversos casos, o modelo simplesmente ignorou o contexto institucional, fornecendo respostas genéricas que não citam artigos, parágrafos ou resoluções específicas, falhando em atender à demanda técnica do usuário.

Nas respostas que alcançaram a nota 2 (38%), o juiz reconheceu uma tentativa de acerto, mas destacou limitações que impediram uma avaliação positiva:

1. Conformidade Estilística Parcial: Diferente das notas 1, o modelo base conseguiu manter um tom formal em alguns momentos. O juiz observou que a linguagem se aproximava da comunicação institucional, porém, a resposta falhava ao não citar o documento oficial correto.

2. Intenção vs. Precisão: O juiz notou que, embora o modelo capturasse o sentido geral da pergunta, ele cometia erros em detalhes técnicos periféricos, como por exemplo, o nome de um homenageado em um ambulatório ou ano de uma portaria. Para o modelo juiz, esses erros "invalidam a informação principal", tornando a resposta perigosa para um contexto onde a precisão normativa é indispensável.

Em resumo, o argumento central do juiz para as notas baixas do modelo base é a incompatibilidade entre o comportamento do modelo e a exigência de precisão factual do ambiente institucional da UFS. A análise confirma que, sem o fine-tuning, o modelo possui uma personalidade nativa de assistente genérico que, ao tentar simular uma autoridade institucional, acaba por gerar informações factualmente incorretas que comprometem a confiança no sistema.

Modelo refinado

A análise das justificativas fornecidas pelo modelo juiz para o modelo base revelou padrões recorrentes de falhas que fundamentaram as notas atribuídas. A interpretação desses argumentos permite compreender as limitações do modelo Llama 3.1 8B Instruct quando operando sem refinamento no domínio institucional da UFS. As justificativas para as notas 1 concentram-se em falhas críticas de identidade e utilidade:

1. Alucinação de Identidade: Um padrão identificado pelo juiz foi o modelo identificar erroneamente a sigla "UFS" como "Universidade Federal de São Carlos" ou "Universidade Federal do Sul", ao invés de "Universidade Federal de Sergipe". Apesar de o modelo treinado ter melhorado seu vocabulário institucional, ele ainda sofre de confusão persistente em sua autoidentificação.

2. Respostas Inúteis: O juiz penalizou severamente respostas que utilizaram placeholders (ex: "[nome do gestor]") em vez de fornecer a informação, ou respostas que se recusaram a fornecer dados diretos, indicando uma falha na capacidade do modelo de extrair e sintetizar o conteúdo do gabarito.

Para as respostas de nota 2, o juiz determina que o modelo demonstrou maior aderência ao registro discursivo institucional da UFS, mas ainda falha em factualidade. Neste grupo, os principais padrões foram:

1. Tom de Voz Formal: O juiz frequentemente elogiou o tom formal e burocrático, indicando que o fine-tuning foi bem-sucedido na adaptação estilística.

2. Vícios de Linguagem: O juiz apontou como negativa a introdução "De acordo com meu conhecimento atualizado", considerando-a inadequada para a persona institucional, o que sugere que o modelo ainda carrega traços do treinamento original do Llama.

3. Inexatidão Factual: O argumento central para a nota 2 foi que, embora a resposta seja formal e bem estruturada, ela falha em dados específicos, como datas, nomes de cursos, valores ou nomes de responsáveis. O juiz descreve essas falhas como "invalidadoras", pois, no contexto de documentos oficiais, um erro de nome ou número altera completamente a utilidade da informação.

Já para as 6 respostas avaliadas com nota 3, sendo essa a mais alta alcançada neste teste, as justificativas mais frequentes incluem:

1. Alinhamento Institucional: O juiz destacou que o modelo reconhece corretamente os órgãos da UFS, como por exemplo, CONEPE e CONSU e a terminologia acadêmica correta, demonstrando que o fine-tuning permitiu ao modelo navegar pela estrutura organizacional da universidade.

2. Captura de intenção: O modelo foi capaz de identificar corretamente o desfecho de solicitações (ex: confirmar a aprovação de um curso ou a negativa de um recurso).

Segundo as justificativas, o que impediu o modelo de atingir notas 4 ou 5 foi a falta de precisão em detalhes secundários, como omitir uma carga horária específica ou confundir o nome de uma especialização. O juiz reforça que a estrutura e o tom estão corretos, mas há falhas quanto à recuperação precisa dos dados.

Embora o fine-tuning tenha trazido melhorias perceptíveis em relação ao estilo discursivo institucional no domínio da UFS, há falhas de factualidade, em que o modelo treinado confunde datas, números de documentos e nomes específicos.