[РЕШЕНО] [РЕШЕНО] Доработка конкурса

У нас есть образцы того, как это делали критики - проверка на наличие грамматических, синтаксических и орфографических ошибок; логико-смысловой анализ стихотворения. По этому вопросу нужно, наверно, довериться критикам. Во избежание недоразумений можно от этого (8) пункта отказаться. Или не удваивать автору рецензии голос до 2, а просто добавлять ему некоторое число баллов или повышать рейтинг.  
Но хотелось бы, чтобы критики и авторы, заметив в стихотворении ошибки, не проходили мимо, но сообщали бы об этом в комментариях очень вежливо.

Да, критики работали именно по подобной схеме и очень согласованными получались оценки, хотя работали в режиме тайного голосования, т.е. каждый критик сам определял оценки по критериям, а потом они сводились в одну таблицу. Так вот, с точки зрения определения тройки или пятерки лучших работ в номинациях (из заранее отобранных администрацией 10) было порядка 80% совпадения. Это очень высокий процент согласованного принятия решений. При голосовании общей массой участников сайта хорошо, если бы было 1-2%... Поэтому в идеале я за квалифицированное жюри, работающее с едиными мерками и беспристрастно оценивающее каждое конкурсное произведение. И даже в этом случае можно еще рейтинги экспертов вводить и учитывать оценки с весами. Есть такие матмодели. Данный подход наиболее объективен и беспристрастен.

Согласна с Павлом,  то, что предлагает Дымарская, это требования по разбору художественного текста вообще и по большей части прозы. К ЕГ. Оно огромное, неудобное , затруднительное в обработке. Но... дело хозяйское.

Уважаемая Алла! Лично я вообще ничего не предлагаю. Меня спросили выше: каковы критерии оценки ПОЭТИЧЕСКИХ текстов (причём тут проза?!), и я их, соответственно, привела. Вряд ли уровень конкурса данного сайта сможет на них базироваться. Да этого и не надо. Досточно исключить при премодерации стихи неграмотные, корявые,вторичные, банальные (как по смыслу, так и  по рифмам) - уже будет из чего выбирать по более высоким критериям.

Поскольку вопрос с объемом рецензий на стихотворения вызывает споры, я заменяю пункт 8 Правил проведения анонимного конкурса стихов на:
"Критики и авторы имеют право делать корректные замечания к текстам стихотворений в комментариях к заметке с конкурсными стихотворениями или направлять их авторам стихотворений с ошибками в виде личных сообщений. Авторы могут оспорить такие замечания или устранить их, о чем сделать пометку к комментарию - "Замечания устранены".

Стихотворения, содержащие ошибки не имеют шансов занять призовые места. И, давайте будем вежливыми.

Досточно исключить при премодерации стихи неграмотные, корявые,вторичные, банальные (как по смыслу, так и по рифмам) - уже будет из чего выбирать по более высоким критериям.

Вот с чем не могу не согласиться! Только вот критериев банальности, пожалуй, окажется побольше, чем первоначальный список Елены...

Критики и авторы имеют право делать корректные замечания к текстам стихотворений в комментариях к заметке с конкурсными стихотворениями или направлять их авторам стихотворений с ошибками в виде личных сообщений.

Павел, а как же быть с анонимностью? Я считаю, что все доработки стихов должны проводиться до подачи их на конкурс. Должен быть установлен строгий срок подачи и голосования, а публикация всех стихов делается ОДНОВРЕМЕННО. Иначе опять же несправедливость будет в том, что у кого-то много друзей и все они быстро выправят все ошибки и пр. Разве в этом цель конкурса? Авторы должны приучаться самостоятельно разбирать и править свои стихи. Иначе роста не будет.

Действительно, заговорился - направлять их мне или ставить в комментариях к заметке с конкурсными стихотворениями.
Извиняюсь.

Статья, (на которую не ссылается Елена Дымарская) МЕТОДИКА ОЦЕНКИ СТИХОТВОРЕНИЙ дополнена таблицей Скорик-тест. Может кому будет полезно

Статья, (на которую не ссылается Елена Дымарская) МЕТОДИКА ОЦЕНКИ СТИХОТВОРЕНИЙ дополнена таблицей Скорик-тест. Может кому будет полезно

Спасибо Вадим.

В статье дана очень хорошая методика для самостоятельной проверки собственного уровня, это не новинка во многих учебных пособиях публиковалась, но оценивать по ней 400, а то и больше произведении будет весьма не просто, да и для конкурса многие пункты не подходят, это моё мнение, я его не навязываю, но уверена, что для литературных конкурсов необходимы более универсальные и попроще схемы.

Спасибо за ссылку. Статья действительно очень интересная. Особенно для нас - непрофессионалов в поэзии.

Хотя автор и ссылается на математику, ее я там не обнаружил, т.к. нет весов критериев. А это самое главное в экспертной системе, если критерии уже сформулированы. В моем предложении по оценке стихов веса указаны, а критерии сведены к минимуму, т.к. не сможем мы пока работать по такой необозримой системе почти в двадцать критериев.

Добрый вечер Алла. 400 стихов на конкурсе мы больше никогда не увидим. "Те времена канули в Лету". На конкурсах стихов будет по количеству смелых участвующих авторов.
Что касается методик, то вам, редакторам (критикам) виднее, у каждого может быть своя метода. Главное, чтобы рецензия была объективной.

Кстати, кроме непосредственной ссылки Вадима, я бы рекомендовал всем прочесть и пример разбора, который опирался на основные приведенные критерии (не по полной схеме и без числовых оценок) - http://stihi.pro/514-analiz_stihotvoreniya.html .

Павлу Губанову:
Не считаю возможным объективно оценить произведения по сумме голосов по 1 баллу от каждого участника конкурса, особенно в свете только что данной ссылки. Павел, почему все же так упорно не хочешь, пока не поздно, отказаться от условия оценки по простому большинству голосов? Ну еще один конкурс впустую... Если честно, мне лично даже не хочется участвовать ни в каком качестве.

Причина проста - никто, в том числе и ты, не предложил другой реальный механизм оценки произведений конкурса.
Есть только предложения, не доведённые до реально применимой формы. К примеру Ваши комментарии:

"Критериев должно быть порядка 5 и они должны быть четкими. Так делается во всех конкурсах. По каждому критерию оценивающий (рецензент) выставляет оценку по 5-10 балльной системе. Получение 0 по любому из критериев (или ниже какой-то грани) автоматически приводит к нулевой оценке (например, "раскрытие темы" - тема не раскрыта, 0 баллов). Разные критерии могут иметь разные веса. Суммарный балл дает оценку у ДАННОГО ЭКСПЕРТА. На основе этой оценки эксперт расставляет разобранные им стихи по местам. Список из 5-10 лучших отсылает УК. УК учитывает голоса согласно местам. Но и тут групповщина возможна. Или нужно независимое жюри, которое не участвует в конкурсе и не знает авторства. Достаточно 3-5 человек примерно одного уровня квалификации. Разный уровень порождает разную значимость оценок, а это можно учесть только специальными матметодами.
ИЛИ
Методика расстановки по местам каждым из экспертов (участников)  Предлагаю такой набор критериев и их веса при выводе суммарной оценки стиха у эксперта при 5-балльной базовой оценке по каждому критерию:  Веса...Критерий  3.........Раскрытие темы (в том числе логичность изложения и наличие тематического сюжета) 2.........Стиль и слог (владение русским поэтическим языком, грамотность построения фраз, сюжета и пр.) 2.........Образность (наличие красивых образов, гипербол, метафор и вообще тропов, согласованных с общей темой, других элементов) 2.........Ритм и рифмы (не только правильность размера и рифм, но также общая легкость ритмического чтения, наличие аллитераций вообще) 1.........Общая грамотность (не только грамматическая правильность текста и пунктуация, но и отсутствие стыков согласных, повторов, неправильных форм слов, умеренное употребление глагольных рифм и т.п.) 1.........Прочее (дополнительные баллы за оригинальность идеи, особые качества, удачные находки и пр.) - не более 2  Я бы рекомендовал в условия для авторов вставить требование указывать размер (включая не только стоповую структуру строки, но и структуру стиха в целом в виде разбивки на строфы), в котором написано стихотворение. И требование обязательно разбивать на строфы согласно объявленному размеру.  В данном тексте нет ничего пока про веса оценок у РАЗНЫХ экспертов. Ясно, что эксперт с опытом, например критик, оценивает по каждому критерию стихи более точно чем рядовой посетитель сайта. Но их голоса приравнены друг к другу. Это нарушение справедливого "баланса сил". Это все равно что на фигурном катании попросить экспертов (судей) и зрителей на трибунах оценить выступления и их потом учитывать в равной степени. Очевидно, что зрители просто числом перевесят любые правильные экспертные оценки. Есть методика, простая достаточно, чтобы ее реализовать в рамках элементарной таблицы Экселя, чтобы определить веса всех проголосовавших по результатам подробного критериального голосования. Участник, оценки которого сильно выпадают из средних оценок экспертов на тех же самых произведениях, должен получать нулевой вес (он просто не умеет пока оценивать стихи). Средний участник, достаточно близко попадающий в оценки экспертов, должен иметь коэффициент 1, эксперты - коэффициент 2. Это простейшая схема так называемых "дисперсионных оценок весов". Другими словами, чем выше дисперсия оценок, тем ниже мастерство, умение оценивать произведения. Идеальный "оценщик" имеет нулевую дисперсию - всегда попадает в точные оценки, поэтому должен иметь максимальный приоритет, т.е. учитываться с максимальным весом.
ИЛИ
Считаю, что время для доработки условий конкурса вполне достаточно. Как изменение правил голосования влияет на написание конкурсных стихов? Думаю, минимальным образом. Т.е. нужно просто написать: условия до окончания срока подачи произведений будут дорабатываться. И первое, что нужно  сделать - признать опыт ранее проведенных конкурсов, который был сформулирован Сергеем Фатулевым и Аллой Войнаровской в виде предложений для будущих конкурсов (я отсутствовал в это время на сайте по причине бана). Краткое резюме, с учтотом упомянутих предложений критиков:  1. Отбор и оценка стихов должны быть двухэтапными, с предварительной модерацией для отсева откровенно слабых, неграмотных текстов;  2. Система оценок должна строиться на развернутых критериях и расстановке какого-то числа первых мест у каждого оценивающего (см. сообщение выше);  3. Желательно наличие независимого квалифицированного жюри. Мое предложение (и ряда других участников сайта, указывавших на коэффициент 2 для критиков) - при общем голосовании участников конкурса учитывать значимость оценок.  Все это не требует специального программного обеспечения, легко реализуется в Экселе (потом можно разработать специальные формы и сделать ТЗ программистам), обозримо и прозрачно - можно публиковать открыто итоги в виде таблицы голосований и все увидят, как оно проходило. При этом его можно оставить анонимным (это может быть важным).

Можно ли на основе этих предложений оценивать стихотворения конкурса, если нет ни самой методики, ни экспертов,владеющих ею? Нужно ставить перед собой реальные задачи, а не витать в облаках.
Будут эксперты и методика - значит будут другие правила проведения конкурсов.
А пока наиболее объективной оценкой является голосование авторов за то или иное произведение неизвестных им авторов.

Причина проста - никто, в том числе и ты, не предложил другой реальный механизм оценки произведений конкурса.

Нет, это все не так. Методика есть и она использовалась критиками при подведении итогов и оценке стихов предыдущего конкурса. За три дня было оценено около 40 стихов. При премодерации будет не больше, даже если бы и было 100, все равно методика эта опробирована в целом (без весов у экспертов) и работает даже в Избе...

Еще раз повторю, что есть два варианта: жюри или все участники. При всех участниках нужно сделать веса. Это технически несложно. Но описывать детали здесь неуместно. Лучше все это делать в таблице Экселя. Или как в методике Скорик-теста http://stihi.pro/5-kak-ocenit-poyeticheskoe-proizvedenie.html воспользоваться их формой - http://russianpoetry.ru/forum/thread73-6.html#new , только не по всем 17 параметрам, а только по 5 основных и одному поощрительному (у меня обозначено как "прочее"). Веса критериев я указал. Я могу эту техническую работу для сотни стихов один сделать за день. О каких проблемах речь? Выбрать вариант - либо снова жюри 3-5 критиков (редакторов), либо ВСЕ УЧАСТНИКИ по той же самой методике расставляют баллы, я их обрабатываю, все публикуется открыто и честно. Веса экспертов вычисляются в ходе обработки, а не назначаются заранее - кроме критиков (редакторов), которые получают вес 2 изначально. Это на порядок более объективно, чем простое суммирование голосов (0 или 1).

Нет, это все не так. Методика есть и она использовалась критиками при подведении итогов и оценке стихов предыдущего конкурса. За три дня было оценено около 40 стихов. При премодерации будет не больше, даже если бы и было 100, все равно методика эта опробирована в целом (без весов у экспертов) и работает даже в Избе... Еще раз повторю, что есть два варианта: жюри или все участники. При всех участниках нужно сделать веса. Это технически несложно. Но описывать детали здесь неуместно. Лучше все это делать в таблице Экселя. Или как в методике Скорик-теста http://stihi.pro/5-kak-ocenit-poyeticheskoe-proizvedenie.html воспользоваться их формой - http://russianpoetry.ru/forum/thread73-6.html#new , только не по всем 17 параметрам, а только по 5 основных и одному поощрительному (у меня обозначено как "прочее"). Веса критериев я указал. Я могу эту техническую работу для сотни стихов один сделать за день. О каких проблемах речь? Выбрать вариант - либо снова жюри 3-5 критиков (редакторов), либо ВСЕ УЧАСТНИКИ по той же самой методике расставляют баллы, я их обрабатываю, все публикуется открыто и честно. Веса экспертов вычисляются в ходе обработки, а не назначаются заранее - кроме критиков (редакторов), которые получают вес 2 изначально. Это на порядок более объективно, чем простое суммирование голосов (0 или 1).

Павел, я уже говорил, что лучший критерий теории - это практика. Нет никаких препятствий для того, чтобы следующий анонимный конкурс провёл ты в соответствии с теми методиками, о которых ты говоришь. Например к Рождеству (а ещё время на него есть - 1,5 месяца), к 23 февраля или к 8 Марта. Я с удовольствием приму участие в проводимом тобой конкурсе.
Можно ведь проводить одновременно не один конкурс на разные темы и по разным правилам. А авторы определят, какой прошёл лучше и где правила объективнее.
Ждем объявления нового конкурса.

Я предпочитаю, чтобы изначально были отработаны правила, а потом проводить конкурсы. И критики сделали немало в этом отношении, взяв на себя всю ответственность и получив за это одни шишки, но попробовали методику критериальных оценок. Почему же этот опыт игнорируется? Были ведь обсуждения и предложения Сергея и Аллы, а конкурс все равно по практически старым правилам... Анонимность тут ни при чем, т.к. для своего "круга друзей" это все равно не анонимный конкурс будет.

Я предпочитаю, чтобы изначально были отработаны правила, а потом проводить конкурсы. И критики сделали немало в этом отношении, взяв на себя всю ответственность и получив за это одни шишки, но попробовали методику критериальных оценок. Почему же этот опыт игнорируется? Были ведь обсуждения и предложения Сергея и Аллы, а конкурс все равно по практически старым правилам... Анонимность тут ни при чем, т.к. для своего "круга друзей" это все равно не анонимный конкурс будет.

Причина проста - опыт не обнародован. Не опубликованы методики. Не проведен "разбор полётов". Возникавшие вопросы по подведению итогов списаны на переходный период от одной администрации к другой, то есть на смутное время.
Почему бы не опубликовать методики, по которым подводились итоги последнего конкурса и не обсудить их?

Причина проста - опыт не обнародован.

Это право администрации - вопрос не ко мне. Они проводили конкурс.  Мы только оценивали стихи.

Не опубликованы методики.

Методика не только опубликована, но и обсуждалась многократно и я ее изложил (детали оценок у каждого критика не так важны). По этой методике проводятся практически все конкурсы в  Избе-читальне. Неужели ни одного конкурса там не смотрел? Детали с весами - не так важны в организационном плане в общей схеме оценок.

Методика не только опубликована, но и обсуждалась многократно и я ее изложил (детали оценок у каждого критика не так важны). По этой методике проводятся практически все конкурсы в  Избе-читальне. Неужели ни одного конкурса там не смотрел? Детали с весами - не так важны в организационном плане в общей схеме оценок.

А можно узнать, где эта методика опубликована? Что-то я не помню, где она опубликована.

Пожалуйста, прочитай статью, на которую выше ссылка. Это официальная публикация. Там нет только весов. Это методика оценки экспертом произведений. На основе этой частичной методики строятся предпочтения и выбираются по 5-10 лучших стихов каждым участником экспертизы (жюри или все участники). Если пока без весов значимости делать, то просто суммируются баллы (это было описано в обсуждении итогов конкурса) по принципу 1 место - 5 баллов, 2 - 4 балла, 3 - 3 балла, 4 - 2 балла, 5 место - один балл. Сумма баллов дает ранжировку всех произведений. Почитай еще раз все обсуждение итогов и здесь. Это и мной было опубликовано, и в условиях конкурсов в Избе. С весами значимости у критиков оценки удваиваются, а остальные с весом 1. Можно еще углубить - рассчитывать отклонения оценок от средних оценок критиков и те, кто не попадает близко к этим оценкам (отклонение превышает 1-2 ст. отклонений оценок критиков) считаются не подготовленными для оценки стихов и получают вес 0. Но введение нулевых весов сейчас не так важно, можно пока никого не "обнулять". Важен сам принцип отказа от прямого суммарного голосования без учета уровня значимости голосов.

Для иллюстрации привожу итоговую таблицу голосования по номинации 4:


Пропало лето___________ 15 1 1 1
В рыжую гриву__________  8 2 6 2
Счастье заблудилось_____ 8 4 2 4
Уже не восемь мне,
а ...тридцать восемь______ 4 3 6 5
Осень-Шутиха___________ 4 5 6 3
Осенний лист кружится
расставанием__________ 3 6 3 6
Приходи_______________ 2 6 4 6
 Стало вдруг уныло______ 1 6 5 6
 Нажав на кнопку "Осень"_ 0 6 6 6
 Осень, стерва рыжая____ 0 6 6 6

Первая колонка - сумма баллов, 2-4 колонки - расстановка мест критиками. Место "6" означало, что стих не попал в пятерку у данного критика. По попаданию в первую итоговую пятерку совпадение у данного состава критиков 80% (только три из 15 оценок в первой пятерке оказалось "6", т.е. вне первых пяти мест и не дало зачетных баллов). Это очень высокая согласованность оценок критиков. По сравнению с такими оценками уже можно достаточно точно сказать, кто может оценивать стихи, а кто не очень, т.е. расставлять веса другим экспертам.

Возможно методика хороша в условиях, когда критиков несколько (а не 2-3), и критики - специалисты в области литературы.
То есть для её применения вначале нужно, чтобы все авторы знали квалификацию критиков и доверяли им.
Если критики неизвестны или не имеют достаточного образования или квалификации, то оценивание по такой (да и любой методике) может вылиться в недовольство авторов работой оценщиков или в скандалы. Более того, зная авторов произведений критики могут заложить в оценки свои предпочтения.
По крайней мере критики (или редакторы, от смены названия суть не меняется) должны до подведения итогов конкурса проявить себя в редакторской области. А именно - иметь на своей страничке несколько десятков стихов без единой ошибки, написать несколько рецензий, с которыми авторы смогли бы ознакомиться.
Иначе, без доверия критикам, подведение итогов по таким методикам приведёт к росту напряженности на сайте.
Не так ли Павел?

Доверие (или недоверие) - категория трудно проверяемая. Если никто здесь никому не доверяет, то делать тут и нечего. Доверие к критикам проявляется при обращении к ним за помощью в улучшении своих стихов. И другие есть косвенные показатели. А система прямого голосования еще хуже, т.к. даже чуть разбирающийся в стихосложении человек значительно точнее оценивает качество написания произведений по казалось бы сложной, но на самом деле простой и хорошо структурированной методике, чем отдавая голос по наитию, или по чувству предпочтения "нравится-не нравится" и пр.

Не считаю себя большим специалистом, но пользуясь этой методикой (с ограниченным числом параметров - всего 5) в одном из конкурсов при 15 произведениях в номинации и 5 лучших, указывавшихся каждым участником-экспертом, "попал в десятку" - 3 из пяти моих выбранных оказалось в итоговой пятерке, причем я "угадал" именно первые три места, хотя и с перестановкой. А ведь я впервые оценивал в конкурсе какие-либо стихи!

В другой раз при 61 произведении (второй раз в жизни оценивал) в первой десятке было 4 "моих", это оказался самый высокий показатель, только еще один эксперт "попал" так же точно. В пятерке было 3 "моих".

Эти примеры не для того, чтобы похвастать своими "выдающимися результатами" - это практическое подтверждение того, что методика работает и очень успешно даже при минимальном опыте оценок.

Доверие (или недоверие) - категория трудно проверяемая. Если никто здесь никому не доверяет, то делать тут и нечего. Доверие к критикам проявляется при обращении к ним за помощью в улучшении своих стихов. И другие есть косвенные показатели. А система прямого голосования еще хуже, т.к. даже чуть разбирающийся в стихосложении человек значительно точнее оценивает качество написания произведений по казалось бы сложной, но на самом деле простой и хорошо структурированной методике, чем отдавая голос по наитию, или по чувству предпочтения "нравится-не нравится" и пр. Не считаю себя большим специалистом, но пользуясь этой методикой (с ограниченным числом параметров - всего 5) в одном из конкурсов при 15 произведениях в номинации и 5 лучших, указывавшихся каждым участником-экспертом, "попал в десятку" - 3 из пяти моих выбранных оказалось в итоговой пятерке, причем я "угадал" именно первые три места, хотя и с перестановкой. А ведь я впервые оценивал в конкурсе какие-либо стихи! В другой раз при 61 произведении (второй раз в жизни оценивал) в первой десятке было 4 "моих", это оказался самый высокий показатель, только еще один эксперт "попал" так же точно. В пятерке было 3 "моих". Эти примеры не для того, чтобы похвастать своими "выдающимися результатами" - это практическое подтверждение того, что методика работает и очень успешно даже при минимальном опыте оценок.

    Уважаемый Павел Серый, позволю себе не согласиться. Какое может быть подведение итогов конкурса без доверия к судьям. Так и хочется воскликнуть "А судьи кто?" Доверие (или недоверие) - категория необходимая при подведении итогов любого конкурса и она легко проверяемая.
    Ты пишешь о том, как хорошо подводил итоги на другом сайте. Допустим. Но что мы видим здесь - где рецензии будущих судей, где их работа с авторами? Чего нынешние критики и будущие редакторы ждут? Я, да и не только, хочу вначале видеть, а что за специалист этот редактор - судья, достаточно ли он квалифицирован для того, чтобы ему доверять.
    Пока, ты уж извини, конкретные дела из ныне здравствующих критиков мы видели только у Юноны (она писала рецензии) да ты и ещё кто-то (хотелось бы знать кто) участвовал в подведении итогов последнего конкурса. Поскольку вы так или иначе подвели итоги конкурса, вам за это спасибо. Недостатки подведения списаны на спешку и большой объём работы в короткие сроки.  
   Но это не значит, что следующее подведение итогов очередного конкурса пройдёт в том же ключе. Пока мы не убедимся, чего стоит тот или иной судья, доверия не будет, а без доверия любой конкурс, где итоги будут подводить не специалисты, завершится скандалом. Пусть даже эти судьи будут прекрасными людьми, пишущие хорошие стихи - этого недостаточно, чтобы определять победителей.
   Я уже предлагал тебе провести следующий конкурс (к Рождеству, к 23 февраля, к 8 Марта). Так что же мешает?