AI Safety Brazil ↗

MODERABR / PORTUGUÊS

Compare as decisões
de moderação.

Busque um texto do acervo e veja a classificação do modelo-base e do ModeraBR lado a lado.

Um texto. Duas classificações.

3.000 casos registrados

Não sinalizar um ataque pessoal não significa que a linguagem seja respeitosa ou não ofensiva. Esta tarefa tem escopo mais restrito que toxicidade geral.

Esta demonstração compara predições já medidas. Textos inéditos não são avaliados. Os rótulos de referência são sintéticos, sem revisão humana.

Explorar todos os casos do filtro

RESULTADOS MEDIDOS

Como o ModeraBR se compara ao base

Macro-F1 · maior é melhor

Fonte / tarefaNBase sem ajusteCPU TF-IDFModeraBR-v3Ganho vs. base
Carregando resultados…

Mesmos casos e política entre sistemas em cada linha. HateBR é a avaliação primária com calibração separada na fonte; OLID e HateCheck são regressões históricas. Os dois testes sintéticos usam rótulos de modelo. Não há score geral entre tarefas.

Ver todas as métricas e matrizes de confusão
Fonte / modeloAcuráciaMacro-F1F1 positivoRecallFPRCoberturaVP / VN / FP / FN

EVIDÊNCIA E LIMITES

O que esta comparação permite concluir

Uma melhora medida

O treino misto melhora macro-F1 nas cinco avaliações declaradas. A evidência humana primária é de ofensividade em comentários políticos, com limiares calibrados na fonte. Não estabelece superioridade geral, desempenho em inglês ou segurança em produção.

Políticas diferentes

Ofensividade ampla inclui palavrão ofensivo sem alvo. A política contextual distingue isso de um ataque pessoal. Discurso de ódio exige endosso contra uma identidade protegida. Uma palavra rude isolada não substitui a definição da tarefa.

Predições e rótulos

As decisões foram medidas com likelihood dos dígitos 0 e 1 e limiares congelados. Não são probabilidades de dano calibradas. Os exemplos sintéticos podem conter ambiguidade ou erro de rótulo; a referência é uma anotação de modelo, não um julgamento humano.

Dados e revisões

Textos deste explorador: AI Safety Brazil, CC BY 4.0. Textos de terceiros usados na avaliação humana não são redistribuídos aqui.

Pesos, código e relatório completo ↗Baixar resultados e casos ↓