Эксперимент (проверка системы) Судьи-участники игры – все, кто пожелает. Чем больше, тем лучше! Выбор рассказов: начиная с первой группы, с номера равного количеству судей-игроков, шагом 10 проходим вдоль всего списка. Если рассказов мало, продолжаем по кругу, (возвращаясь в начало списка), пока не наберём 10 штук. При повторных кругах выбранные ранее рассказы в счёт не идут. Пример: 8 судей, 123 рассказа, 3 группы по 41 рассказ. Начинаем счёт с 8-го рассказа первой группы, так как игроков 8. Отбираем каждый десятый. Итак: 8, 18, 28, 38 (из первой группы), 48 (№ 7 второй группы), 58 (№ 17 второй группы), 68 (№ 27 второй группы), 78 (№ 37 второй группы), 88 (№ 6 третьей группы) и 98 (№ 16 третьей группы). Система оценок: интерес-финал-эмоции-язык Интерес: 0 – неинтересный (если бы не конкурс – не дочитал бы) 1 – малоинтересный (хочется пропускать фразы, но узнать, чем кончится) 2 – интересный (хотелось читать всё подряд, но можно и отложить) 3 – очень интересный (читал не отрываясь, досадуя на помехи) Финал: 0 – разочаровал (автор всё испортил таким концом) 1 – маловыразительный (так и знал, что ничего не случится) 2 – хороший (оригинальный, в чём-то неожиданный, улучшающий рассказ) 3 – очень хороший (потрясающий, совершенно неожиданный) Эмоции (эмоциональность рассказа) – герои и события, как они описаны: 0 – не вызывают сопереживания 1 – вызывают сопереживание 2 – вызывают глубокие переживания Язык: 0 – невыразительный – много ошибок, искажающих смысл написанного 1 – хороший – ясный, ошибки не влияют на чтение 2 – красивый – красочный, художественный, стильный, ошибки случайные Ход игры: после объявления списка судьи убеждаются, что ошибки не было, рассказы выбраны правильно и оценивают их по системе выше. Каждый рассказ получает от каждого судьи четыре оценки, записанные как х-х-х-х, например, 2-1-0-1. Не перепутайте, первая цифра – за интерес (от 0 до 3), вторая – за финал (от 0 до 3), третья за эмоции (от 0 до 2) и четвёртая – за язык (от 0 до 2). Готовые оценки участники сообщают в личной почте организатору игры. Организатор составляет таблицу и публикует её. Судьи проверяют, нет ли ошибок, и все переходят к следующему этапу эксперимента. Анализ: таблицы можно проанализировать, дают ли они больше информации авторам. Организатор это сделает, но и все желающие (не только судьи) могут сделать это по-своему. Судьи делятся впечатлениями о процессе: понравилось им или нет оценивать рассказы таким способом, что было хорошо и удобно, а что нет. Разумеется, чем больше судей, тем точнее оценки отразят мнение читателей (и тем больше будет работы организатору). Когда кончится конкурс и будут опубликованы его оценки, их можно будет сравнить с оценками системы и результатом игры. Судьи 1. Ник 2. goddo 3. Chukcha 4. Gelu McAllister 5. to_chego_net 6. Valien 7. spelly 8. Smelyi 9. ВасилийКурсанов 10. Клер 11. fannni Пользуясь правилами отбора рассказов, получем список: 11 - Второй этап 21 - Освободите мой разум 31 - Путеводитель пустоты 41 - Брошенная планета 51 - Бутон 61 - Чистая победа 71 - Оазис 81 - Возьмём гнома на удачу 91 - Вечное сияние 101 - Ослепительно серый Все желающие поиграть присылайте оценки в личку.
а какая разница - снят, не снят? как понимаю это Ник не для конкурса, а для обкатки своей методики оценки
Совершенно верно, нет разницы. Но дело - в другом. Система - Али (он уже шутил над тем, что я больше пропагандой занимаюсь, чем он). А ещё точнее - она ничья, это метод оценки, один из многих. Почему удобно экспериментировать на конкурсе? Потому что можно сравнить эксперимент с существующей системой на тех же рассказах. Всё равно их читать. А раз сняли один, то сравним на один меньше... Я только призываю коллег присоединяться и участвовать. Добавить своё мнение и оценки никогда не поздно!
фиатик скептично относится к методике но готов принять участие в Вашем эксперименте, если Вы примете участие в эксперименте с высказыванием мнений в адрес опубликованных рассказов http://k-l-f.ru/threads/даже-затрудняюсь.1467/page-15#post-56247 тока после праздников, вроде поспели билеты на самолёт из двух последних добавленных один мне самому, кстати, понравился, а второй пока не успел прочитать постараюсь в очереди на таможне, пока не заставят отключить телефоны здравствуй море, вот и я!(с)
Ничего, раз ЧП. Но fiatik может и не заметить. У нас всех как - "Фигаро - тут, Фигаро - там!" Я обычно жму на "Ответить" (сами слова цитаты можно даже стереть) и пишу в любой подходящей теме (как ты сделал в первом ответе). Извещение красьненькое призодит. Меньше шансов упустить...
Увы, нет. Я возможно что-то и прочту, тогда и выскажусь, но обещать не могу, поэтому отказываюсь. И у нас не новые (посторонние) рассказы. Часть из них всё равно прочесть необходимо было.
Итак, собраны все оценки, судьи высказали свои мнения, и можно приступать к подсчёту очков. В нашем эксперименте участвовало 10 рассказов. Вот они: 11 - Второй этап 21 - Освободите мой разум 31 - Путеводитель пустоты 41 - Брошенная планета 51 - Бутон 61 - Чистая победа 71 - Оазис 81 - Возьмём гнома на удачу 91 - Вечное сияние 101 - Ослепительно серый Первое место из них занял «Ослепительно серый». Он получил 90 баллов из 110 возможных (десять первых мест и разделил второе – третье в одном случае). На втором месте рассказ «Бутон». Он набрал 64 балла. На третьем – «Брошенная планета» 61 балл. На четвёртом – «Освободите мой разум» 49 баллов. На пятом – «Чистая победа» 48 баллов. На шестом – «Возьмём гнома на удачу» 39 баллов. На седьмом – «Путеводитель пустоты» 32 баллов. На восьмом – «Второй этап» 28 баллов. На девятом – «Оазис» 19 баллов. На десятом – «Вечное сияние» 18 баллов. Таблицу и графическую диаграмму можно посмотреть в очерке на СИ: http://samlib.ru/n/nejman_n_n/zch-2012-ex.shtml А сейчас давайте обсудим, получили ли мы какое-то дополнительное знание, из системы ИФЭЯ, по сравнению с простой 10-бальной (только последний суммарный столбик). Обсуждая оценки, сравним также близкие по общему баллу рассказы. Приблизительные очки такие: 90, 60, 60, 50, 50, 40, 30, 30, 20, 20. У «Ослепительно серого» за интерес 29 из 33 возможных (88%). Однако десять из одиннадцати судей поставил ему за интерес свой высший балл. И даже если этот бал 1, то никакой другой рассказ у данного взыскательного судьи 2 по интересу не получил. Допустим, кто-то хотел бы занизить оценку этому рассказу. Тогда такому судье – «Медведю», играющему на понижение (термин биржевого рынка) – необходимо «влепить» 0 за интерес этому рассказу и стать «Быком» для других (повысить им баллы за интерес). Разумеется, такая комбинация совершенно явно видна, в отличие от низкой или высокой оценки, не сравниваемой с другими, (выставленной неизвестно за что!) по 10-бальной системе. За финал (оригинальность концовки) рассказ «Ослепительно серый» получил 23 балла из 33 возможных (70%). Это по-прежнему высокий показатель, но автор уже видит в нём некоторый намёк: читатель не получает такого же высокого удовольствия от завершения рассказа, как от интересного сюжета. Эмоциональность: 16 из 22 (72%). То же самое! Читатель не так сильно сопереживает погибшему герою. Язык: 22 из 22 (100%)! Вот, оказывается где главное достоинство рассказа – 11 первых мест (все!) и к тому же 11 наивысших баллов за язык. Как приятно поздравить автора! Не знаю, возможно, писателей не интересуют подобные детали, в чём я сомневаюсь. Меня бы интересовали, даже в случае столь убедительной победы. Ведь даже простой просмотр таблицы от одиннадцати судей, освещает более сильные и слабые стороны рассказа. Это как получить сразу одиннадцать отзывов с оценкой одних и тех же свойств рассказа! Не нужно? Лишне? Рассказы «Бутон» и «Брошенная планета». Их баллы интересно разбирать параллельно, как близкие. «Бутон» набрал за интерес 23 из 33 (70%) «Брошенная планета» - за интерес 21 из 33 (63%). «Бутон» за финал собрал 18 из 33 (55%) «Брошенная планета» - за финал 16 из 33 (48%) За эмоциональность оба рассказа набрали 11 из 22 (50%), «Бутон» за язык – 12 из 22 (55%), а «Брошенная планета» – 13 из 22 (59%). Немного тут, немного там, в области интереса и остросюжетности, и «планета» уступает «бутону» второе место. Каждый автор сам видит, что ему делать, и как улучшать результаты. Наиболее сильной стороной обоих рассказов служит интересный сюжет. Следующая пара конкурентов – «Освободите мой разум» и «Чистая победа». Они по баллам ближе друг к другу, чем какие-либо другие рассказы. «Освободите мой разум» получил за интерес 19 из 33 (58%) «Чистая победа» - за интерес – 17 из 33 (52%) Справедливо, что 4 – 5 места, как и 2 – 3 занимают довольно интересные рассказы. Как там с оригинальным финалом? «Освободите мой разум» - за финал набрал 16 из 33 (48%) «Чистая победа» - за финал – 14 из 33(42%) Показатели начитают падать ниже 50%. Намёк есть? «Освободите мой разум» - за эмоциональность – 4 из 22 (18%) - ясно? «Чистая победа» - за эмоции – 8 из 22 (36%) «Освободите мой разум» - язык – 10 из 22 (45%) «Чистая победа» - язык – 9 из 22 (41%) Вот и объяснение: для 4 – 5 места всё держится на интересе, остальные показатели надо подтягивать. Также видно, как влияет отставание по эмоциональности от 2 – 3 места. Ненадолго вернёмся к гипотетическому завышению – занижению. Не вижу способа «подкинуть» конкуренту 10 баллов (вниз или вверх). Поскольку это означает влияние на все параметры, то курс «против течения» моментально виден и необъясним. А в системе ИФЭЯ нет необъяснимых оценок в отличие от простой 10-бальной! Рассказ «Возьмём гнома на удачу» с 39 баллами из 110 (35%) занимает промежуточную позицию (медиану) в шлейфе рассказа-победителя. За интерес он набрал 13 баллов из 33 (39%). За финал 9 из 33 (27%), за эмоциональность 6 из 22 (27%), за язык 11 из 22 (50%). Автор сам сделает выводы, в чём сильные и слабые стороны рассказа. Хочу отметить, что самый низкий балл от одного судьи был 1, а самый высокий – тоже от одного – 6. Видите, тоже не 0 и 10, то есть, это – не «подсуживание». Удаление оценки «Медведя» или «Быка» лишь незначительно сдвигает рассказ вправо или влево. А удаление обоих результатов (вместе с судьями) превращает общую оценку в 32 балла, но уже из 90 возможных, то есть те же 35%. Следующая пара рассказов с баллами вблизи 30, это «Путеводитель пустоты» - 32 балла из 110 (29%) и «Второй этап» 28 баллов из 110 (25%). За интерес «Путеводитель пустоты» набрал 14 баллов из 33 (42%), а «Второй этап» – 9 из 33 (27%). За финал оба рассказа набрали поровну – по 8 баллов из 33 (24%). За эмоциональность тоже равные баллы – по 3 балла из 22 (14%) За язык «Путеводитель пустоты» получил 7 баллов из 22 (32%), а «Второй этап» - 8 из 22 (36%). Опять же, по-моему, цифры говорят за себя, и авторы видят слабые стороны (не детально, только в общем, но вполне ясно) работ. Последняя пара рассказов с баллами в области 20. Это «Оазис» с 19 баллами из 110 (17%) и «Вечное сияние» с 18 баллами из 110 (16%). Оба рассказа по интересу и финалу набрали равные и одинаковые баллы: 5 из 33 (15%). Эмоциональность «Оазиса» оценили в 4 балла из 22 (18%), а «Вечного сияния» в 2 балла из 22 (9%). Язык «Оазиса» получил 5 баллов из 22 (23%), а «Вечного сияния» 6 баллов из 22 (27%). Думаю, авторы сами видят, в чём их резервы. Итак, эксперимент показывает, что ИФЭЯ так же хорошо оценивает рассказы по параметрам, как и простая 10-бальная система по одной оценке. В отличие от последней, ИФЭЯ несёт информацию «мини-отзыва» авторам и даже без всякой рецензии подсказывает им мнение читателей. Искусственную необъективность оценок труднее провести в системе. Она легче выявляется. В заключение, всем авторам – творческих успехов, всем исследователям – научных, а читателям – хороших рассказов!
Боюсь, всё равно вполне возможна ситуация, когда по объективным критериям никто не набирает 10 баллов и/или никто не находится на уровне 1. Но ставить их надо. И что тогда? Тут, в подборке, по случайности оказался, похоже, один очень сильный рассказ и пара явно слабых. Остальные же - плюс-минус чуть-чуть. Реально "очень сильный" всё равно окажется в топе, а слабые - пролетят. Т.е. с практической точки зрения - именно на конкурсе - нужно нечто, позволяющее хорошо дифференцировать в "серой зоне". Там, где один показатель может оказаться высоким, а другой - низким. Скажем, пара 4-5: ОМР по всем параметрам несколько опережает ЧП, но резко уступает ей по эмоциональности, и результат практически получается идентичный. Но в реальности большинство читающих, если не станет прикладывать специальных усилий, даже не будет отделять И от Э: интерес - тоже эмоция, в конце концов. В итоге высокую оценку поставят тому, кто по этому обобщённому критерию (И+Э) смотрится хорошо, а на "язык", если уж он не явно блестящий и не совсем кошмарный, забьют. В общем, честно говоря, система выглядит относительно подходящей для профессиональных "жюристов", но ан масс читатели воспринимают тексты иначе, и результат их голосования далеко не факт что окажется совпадающим с такой рационально выверенной оценкой. Главное - дифференцировать "серую зону" (а это - самое важное для конкурсов с большим топом) легче не становится. Кстати - посмотрим. Если у нас рассказы отбирались случайно, и если пренебречь неравенством групп (когда текстов несколько десятков, всё в общем нивелируется), то в финал должны точно выйти 1-3 места, плюс с некоторой долей вероятности 4 или 5 ("или" - потому что результат у них практически одинаков). А, "Брошенная планета" снята, да? Тогда должны выйти 3 из 9: 1 и 2 места (ОС и "Бутон"), а также с вероятностью 50/50 ОМР или ЧП.
Кстати. Если взять оценки только по "интересу", то итоговая табличка оказывается почти такой же, как по ИФЭЯ, только 6 и 7 меняются местами, а 9 и 10 сравниваются (но у них и так результат отличается всего на 1 балл). По "финал"у выходит почти то же самое, но отклонений больше: 3-е место сравнивается с 4-м, 7 и 8 сравниваются друг с другом и почти сравниваются с 6, 9 и 10 опять-таки равны между собой. "Эмоциональность" уже заметно отличается от общей таблицы: 1, 2=3, 5, 6, 4, 9, 7=8, 10. Язык же выбивается их общей схемы совсем: 1, 3, 2, 6, 4, 5, 8, 7, 9=10. Грубо говоря, у нас вышло что? Рецензенты всё равно учитывали прежде всего интерес. Не хватало баллов выразить восторг в этой графе - они накидывали очки за финал и отчасти за эмоции (разве финальный аккорд и эмоциональность на интерес не влияют?). Т.е. у нас вышло почти то же, что при оценке по одному критерию - ну, как если бы рецензентам сказали, что неплохо бы учесть ещё и язык. Они и учли его, но почти никакой роли это не сыграло.
Однако, у нас с Ником уже был по этому поводу разговор. На мой взгляд, две-три градации для языка мало. Да, и как сможет оценить язык тот, кто над своим-то не работает, считая, что на литературном конкурсе литературные достоинства текста не важны.
Начну, как Сталин, который на реплику следователя: «Боюсь, арестованный не выдержит пыток», - заметил: «А вы не бойтесь, товарищ следователь!» Это я к тому, что бояться за рассказ-лидер, не набравший 10 баллов нет оснований. Вообще, это совершенно необязательное условие, для того чтобы рассказ занял первое место. С интересом поговорю на эту тему, но вначале хочу поблагодарить Вас за обсуждение. Спасибо! Это нечасто происходит. Итак, баллы – это некая условность, которую удобно всем понимать одинаково. На самом деле результат есть сумма мест данному рассказу, а список победителей – это список суммы мест в обратном порядке. Такая система называется топовой и успешно применяется для нескольких победителей. А распределять по местам 30 рассказов довольно громоздкая и трудоёмкая работа, вот и применяются баллы. Каковы проблемы простой 10-бальной системы? 1) Не ясно – за что оценка. А неясность сразу же, во всяком случае на нашем языке, означает злоупотребление. Начинается «влепил» 1 и «влепил» 10. Множество читателей, да и авторов, не понимает – за что. 2) Непонятна средняя область. Если 1, 2, 3 означают плохую оценку, 8, 9, 10 – хорошую, то середина 4, 5, 6, 7 вызывает полное непонимание. 3) Подсуживание. Разумеется, система как таковая не при чём, но… см 1). Любая система типа ИФЭЯ решает, хотя бы отчасти все три проблемы. Теперь об эксперименте. Рассказ «Ослепительно серый» - явный лидер в Эксперименте. Однако рецензии на него создают иную картину. Победители «Грелки» - совершенно не однозначные лидеры. Они лидируют в данном сообществе и совсем не обязательно вне него. Да, что там «Грелка»! Лидеры кассовых сборов в одной стране бывают аутсайдерами в другой. Это я к тому, что не бывает «реально» сильных и слабых, а лишь относительно сильные и слабые. Реально – это предвзятое мнение, либо по старым заслугам, либо по мнению авторитета. Рассказ становится топовым, лишь пройдя горнило конкурса и честно заняв призовое место. Я также не согласен, что за исключением одного лидера и двух аутсайдеров «остальные плюс-минус чуть-чуть». Это уравниловка. Долой её! Рассказ с 60 баллами и 30 баллами отличаются больше (вдвое!), чем с 90 и 60 (в полтора раза). Другое дело, что Эксперимент – не результат выборов, а результат опроса Гэллопа, сделанного на выборке из одиннадцати судей. Хотя, по-моему, вполне репрезентативной выборке. Сравнивать с результатами конкурса не вполне верно. Это как перемешать кандидатов в парламенты Украины и Белорусии, а голосовать будут жители России. Мне не вполне понятен термин «в реальности». А эксперимент не во сне же проходил. Мне кажется, что ИФЭЯ не требует приложения специальных усилий, в отличие от систем с трудно определяемыми (не интуитивными) параметрами. И про интерес: если это и эмоциональный процесс, то существенно отличающийся, как по продолжительности, так и по гормональной реакции, от того, что мы по-русски называем эмоциями. Ещё раз, спасибо за обсуждение. Ник.
не будь это конкурс, так и поучаствовал бы хотя не скрываю скептицизма в отношении методики (имхо голимое, не стану отстаивать точку зрения), но как социальный эксперимент - любопытно
