Crowdsourcing с механической поддержкой

1. Crowdsourcing с механической поддержкой Октябрь 2020 1
2. Оценки в ML Коллективный бессознательный асессор (КБА) Как обуздать КБА Экзоскелет для КБА Модель как эксперт Выводы 2
3. Оценки в ML
4. Как мы делаем ML 3
5. Как мы делаем ML Какие свойства мы ожидаем от примеров и разметки? 3
6. Пробуем разрешить противоречия 4
7. Свойства контура оценки • Несмещенность по конечной метрике • Достаточная разрешающая способность • Актуальность по данным и по оценке 5
8. Свойства контура оценки • Несмещенность по конечной метрике • Достаточная разрешающая способность • Актуальность по данным и по оценке ⇒ фиксированный “достаточный” объем оценок 5
9. Свойства контура оценки • Несмещенность по конечной метрике • Достаточная разрешающая способность • Актуальность по данным и по оценке ⇒ фиксированный “достаточный” объем оценок ⇒ готовы вкладываться в новое знание 5
10. Свойства контура обучения • Больше данных! • Пока растет метрика – все приемы хороши • Не подглядывать 6
11. Свойства контура обучения • Больше данных! • Пока растет метрика – все приемы хороши • Не подглядывать ⇒ Балансируем стоимость оценок и их объем 6
12. Свойства контура обучения • Больше данных! • Пока растет метрика – все приемы хороши • Не подглядывать ⇒ Балансируем стоимость оценок и их объем ⇒ Обучение определяет оценку 6
13. Коллективный бессознательный асессор (КБА)
14. Коллективный бессознательный асессор Почему я не говорю про отдельных экспертов: 1. Мы редко оцениваем работу отдельного эксперта 2. Эксперты меняются во времени 3. Они общаются между собой! ⇒ В crowdsourcing’е наша задача не научить отдельных людей, а создать такие правила игры, которые приносят результат на доступной категории экспертов 7
15. Свойства КБА I Эксперты говорят то, что мы спрашиваем 8
16. Свойства КБА I Размер инструкции Google/Яндекс по разметке соответствия документов запросам 10 лет назад был > 100 стр. 9
17. Свойства КБА II Эксперты разные, и их цели не всегда совпадают с целями исследователя 10
18. Свойства КБА II 11
19. Свойства КБА III Оценка деятельности эксперта важна для него и должна быть ему понятна 12
20. Ответы получены ручным способом, или вы про навык скорочтения не слышали? в общем, так или иначе, напишите конкретно по каждому заданию, что нет? по какой причине в каждом задании отклонение? или прокляну за такое приход к неправильному выводу. надеюсь на понимание и ответственность Anonymous Toloker 13
21. Свойства КБА IV Эксперты – сообщество, структура которого и общение в котором может существенно повлиять на результат 14
22. Свойства КБА IV Good Judgment Project in collaboration with IARPA-ACE 15
23. Что мы хотим оптимизировать Ограничимся контуром обучения • Цена • Качество • Скорость 16
24. Что мы хотим оптимизировать Ограничимся контуром обучения • Цена • Качество • Скорость Например: “Хочу оптимизировать скорость разметки одной минуты голоса при количестве ошибок не более 10% и скорости более 10ч в день” 16
25. Что мы хотим оптимизировать Ограничимся контуром обучения • Цена • Качество • Скорость Например: “Хочу оптимизировать скорость разметки одной минуты голоса при количестве ошибок не более 10% и скорости более 10ч в день” ⇒ Эффективность конечной формулы оптимизации определяется ростом качества модели 16
26. Какие есть средства оптимизации • Оптимизация задания • Доработка инструкции и интерфейса • Работа над структурой оценки (e.g. шкалой) • Изменение структуры прецедента (e.g. группировка) • Гетерогенные задания • Привлечение более широкого круга экспертов через контроль качества их работы 17
27. Какие есть средства оптимизации • Оптимизация задания • Доработка инструкции и интерфейса • Работа над структурой оценки (e.g. шкалой) • Изменение структуры прецедента (e.g. группировка) • Гетерогенные задания • Привлечение более широкого круга экспертов через контроль качества их работы • Добавление роботов в оценку 17
28. Как обуздать КБА
29. Основные инструменты контроля качества 1. Обучение и контрольные задания 2. Honeypot’ы (ручные, автоматические) 3. Перекрытие и динамическое перекрытие 18
30. Немного о силе перекрытий • 1000 заданий • 0.01$ за задание • Эксперт говорит правду в 60% случаев 19
31. Экзоскелет для КБА
32. Ground truth inference Предсказать по набору решений какие из них истинны – нормальная математическая задачка, которую можно решать. ˆ Y = arg max Y ={li } i log P(li |Ji = {ji1, . . . , jiki }) Где j = (y, a, c), l, y ∈ Y – шкала оценок, a ∈ A –множество экспертов, c обобщенный контекст оценки. 20
33. Есть много способов решать эту задачу Yudian Zheng et al. Truth Inference in Crowdsourcing: Is the Problem Solved? VLDB 2017 21
34. Немного выводов из тестирования 1. Перекрытие+большинство достаточно, если перекрытий >20 2. Dawid & Skene (1979) работает в большинстве остальных случаев 3. Остальные методы выступают лишь в узких категориях 22
35. D&S в двух словах P(l|J = {ju}k 1 ) ∼ P(l|J, ˆ z) = k u=1 ˆ zI{y=y(ju)} a(ju)y(ju)l ˆ z = arg max z log   Y m i=1 y∈Y P(yi |Ji , z)   23
36. Пару слов о динамическом перекрытии • Аккуратное моделирование сложных случаев с увеличением перекрытия до значений > 20 позволяет не думать о GTI • Динамическое перекрытие позволяет понять разброс мнения и получить не точечную оценку, а “распределение” 24
37. Learning from Crowds Raykar at. al. Совместим в одной оптимизации железного эксперта и живых в бинарной классификации: P(l = 0|J = {ju}k 1 ) = k u=1 zI{ju=0} u (1 − zu )I{ju=1} P(l = 1|J = {ju}k 1 ) = k u=1 zI{ju=1} u (1 − zu )I{ju=0} P(l|J, w) = P(l = 1|J)σ(−wT x) + P(l = 0|J)σ(wT x) 25
38. Параллельное моделирование оценки Raykar at. al. Совместим в одной оптимизации железного эксперта и живых в бинарной классификации: P(l = 0|J = {ju}k 1 ) = k u=1 zI{ju=0} u (1 − zu )I{ju=1} P(l = 1|J = {ju}k 1 ) = k u=1 zI{ju=1} u (1 − zu )I{ju=0} P(l|J, w) = P(l = 1|J)σ(−wT x) + P(l = 0|J)σ(wT x) 26
39. Модель как эксперт
40. Почему вообще можно использовать модель в разметке? Проблема в систематической ошибке, которую дает нам модель. Тем не менее: • Мы свободно используем модель только для разметки в контуре обучения • В контуре оценки необходимо контролировать уровень смещения или вообще исключить применение моделей 27
41. Характеристики эксперта-модели + Не устает (не меняет характеристик со временем) + Заинтересована в успехе исследователя :) + Относительно бесплатна – Плохо реагирует на изменения в данных – Систематическая оценка, которая зависит от модели 28
42. Для чего мы можем использовать такого эксперта • Контроль за состоянием асессоров • Контролируемое динамическое перекрытие • Простые случаи можно только проверять, а не размечать с нуля • Active Learning 29
43. Для чего мы можем использовать такого эксперта • Контроль за состоянием асессоров • Контролируемое динамическое перекрытие • Простые случаи можно только проверять, а не размечать с нуля • Active Learning ⇒ можем “честно” сравнить с человеками 29
44. Выводы
45. На вынос • Чтобы ослабить требования к оценкам можно разделить разметку на два контура • Эксперты – социальное явление и нужно учитывать это их свойства • Существуют модели обучения, которые позволяют оценивать качество асессоров как с помощью данных так и нет • В контуре обучения (и, если акуратно, то в оценке) можно использовать робота 30
46. Бонус трек (Одна схема разметки) 31