Публичный бенчмарк humanizer-ru

Дата снимка: 2026-09-04. Каждая строка — из детерминированного снимка в репозитории; команды воспроизведения — в research/BENCHMARK.md.

Метрика	Значение	Wilson 95%	Источник	Где мы хуже
Ложные срабатывания на человеческих текстах (лёгкий домен)	8/12354 = 0.0006	[0.0003; 0.0013]	`research/fp-corpus-2026-09/result.json`	тяжёлый домен (юридика, канцелярит, OCR) даёт FP на порядок выше — см. fp-heavy
AUC мягких сигналов, поколение 2021-22 против human	0.6068	[0.602; 0.6119]	`research/f8-2026-09/result.json`	да: мягкие признаки не разделяют машинность (AUC около 0.6), вердиктов по ним нет
AUC мягких сигналов, поколение 2024-26 против human	0.6487	[0.6081; 0.6933]	`research/f8-2026-09/result.json`	да: мягкие признаки не разделяют машинность (AUC около 0.6), вердиктов по ним нет
Retention сигнатур после оператора zero-width (глубина 3)	0.5789	—	`research/adversarial-2026-09/result.json`	да: невидимые символы и гомоглифы снижают удержание сигнатур
Retention сигнатур после оператора homoglyph (глубина 3)	0.3684	—	`research/adversarial-2026-09/result.json`	да: невидимые символы и гомоглифы снижают удержание сигнатур
Retention сигнатур после оператора markup (глубина 3)	0.9474	—	`research/adversarial-2026-09/result.json`	да: невидимые символы и гомоглифы снижают удержание сигнатур
Маркеры без доказательной силы на машинных текстах (LR слабое)	38 из 40	—	`research/marker-lr-2026-09/result.json`	да: маркеры копипасты молчат на чистых машинных текстах — это граница, а не детектор машинности
Потеря фактов авторских категорий на витринных парах	S1 core 0.00/0.00; S1 все 0.125/0.125; S2 lost 0.5699, added 0.3441; S3 lost 0.8333, added 1.00; CI в отчёте; инструмент	—	`eval/facts/facts.v1.json`	да: на слепом переписывании потери существенны — правка без fact-loss не рекомендуется

Конкуренты

Imalwayshere/Open-Detector (238★): не удалось воспроизвести: BERT-модель обучена на английском академическом тексте, русского корпуса и публичного API для русского нет; см. методику.
talkstream/ru-text (223★): не удалось воспроизвести количественно: набор правил для агентов без исполняемой скоринг-процедуры; качественное пересечение тем учтено в THREAT-MODEL.
smixs/humanizer-ru (148★): форк самого проекта, не независимый конкурент.
ilyautov/humanizer-ru (286★, 21 форк, HEAD 36f26657d от 2026-08-25, снимок 2026-09-06): скилл стилистической оптимизации метрик внешних детекторов (perplexity/burstiness под GPTZero, DivEye, RuBERT); задача отлична от проверяемой гигиены вставки, протокол на нашем корпусе не публиковался; не измерено на нашем корпусе — несопоставимо, в ранжирование не включается.
Количественная таблица лидерборда содержит одного связанного сопоставителя (smixs) и потому измеряет воспроизводимость протокола, а не лидерство в нише.

Как обмануть humanizer-ru

Полная переписка текста снимает артефакты копипасты целиком — это граница детекции (Sadasivan et al.), зафиксированная в THREAT-MODEL. Проект не обещает стойкости к намеренному обходу и не измеряет её.

Вернуться в демо