Busque um texto do acervo e veja a classificação do modelo-base e do ModeraBR lado a lado.
Um texto. Duas classificações.
3.000 casos registrados
Não sinalizar um ataque pessoal não significa que a linguagem seja respeitosa ou não ofensiva. Esta tarefa tem escopo mais restrito que toxicidade geral.
Esta demonstração compara predições já medidas. Textos inéditos não são avaliados. Os rótulos de referência são sintéticos, sem revisão humana.
Mesmos casos e política entre sistemas em cada linha. HateBR é a avaliação primária com calibração separada na fonte; OLID e HateCheck são regressões históricas. Os dois testes sintéticos usam rótulos de modelo. Não há score geral entre tarefas.
Ver todas as métricas e matrizes de confusão
Fonte / modelo
Acurácia
Macro-F1
F1 positivo
Recall
FPR
Cobertura
VP / VN / FP / FN
EVIDÊNCIA E LIMITES
O que esta comparação permite concluir
Uma melhora medida
O treino misto melhora macro-F1 nas cinco avaliações declaradas. A evidência humana primária é de ofensividade em comentários políticos, com limiares calibrados na fonte. Não estabelece superioridade geral, desempenho em inglês ou segurança em produção.
Políticas diferentes
Ofensividade ampla inclui palavrão ofensivo sem alvo. A política contextual distingue isso de um ataque pessoal. Discurso de ódio exige endosso contra uma identidade protegida. Uma palavra rude isolada não substitui a definição da tarefa.
Predições e rótulos
As decisões foram medidas com likelihood dos dígitos 0 e 1 e limiares congelados. Não são probabilidades de dano calibradas. Os exemplos sintéticos podem conter ambiguidade ou erro de rótulo; a referência é uma anotação de modelo, não um julgamento humano.
Dados e revisões
Textos deste explorador: AI Safety Brazil, CC BY 4.0. Textos de terceiros usados na avaliação humana não são redistribuídos aqui.