IPB

Добро пожаловать, гость ( Вход | Регистрация )

2 Страниц V  1 2 >  
Ответить в эту темуОткрыть новую тему
> Решил задачу - стал модератором, упрощение жизни модеров и ускорение проверки решений
Mescalero
31.5.2011, 8:29
Сообщение #1


Новичок
*

Группа: Пользователи Braingames
Сообщений: 7
Регистрация: 31.5.2011
Пользователь №: 25 823



Как я понял, сейчас есть несколько (десятков) модераторов, которые проверяют все решения, ведут переписку и тп - дело явно небыстрое. В итоге иногда приходится долго ждать проверки решения (судя по комментариям к задачам).

Почему бы не сделать проверку решений по принципу торрентов? Выглядеть будет примерно так:
- Новую задачу у первых, например, 50-ти человек проверяет модератор(ы).
- Все последующие решения этой задачи проверяются уже не модератором, а теми, кто её уже решил.
- Каждый из проверяющих голосует "за" или "против".
- Как только наберется 20-30 голосов (количество можно менять в зависимости от сложности задачи), то считаем процентное соотношение "за" и "против".
- Если "за" проголосовали >80% проверяющих, то задача считается решенной верно.
- Если соотношение "за" и "против" неоднозначное (50/50, 60/40 и тд) или количество голосов за сутки проверки не достигает необходимого минимума, то задачу проверяют уже модераторы.

Чтобы стимулировать народ проверять чужие решения задачи и делать это ВНИМАТЕЛЬНО, можно сделать систему рейтинга: проверил задачу, проголосовал, если твой голос совпал с мнением большинства голосующих - получаешь плюс балл, если наоборот - получаешь минус балл. Если решение задачи написано непонятно, неграмотно, запутано и тд и тп - можно просто отказаться от голосования, количество баллов не меняется. Колво баллов по идее должно зависеть от сложности задачи.
Смысл баллов простой - ты проверяешь одно чужое решение, за это кто-то проверит одно твое решение.
Кому некогда/лень/итп проверять чужие решения, тот может забить на это и просто ждать ответа модераторов, как это делается сейчас...

С такой системой имеем все плюсы, которые имеют пользователи торрентов: чем больше народу решило задачу, тем больше "модераторов" есть у этой задачи и тем быстрее её проверят. Модераторам в этом случае остается работать только с новыми задачами и решать проблемы в случае неоднозначных результатов голосования - нагрузка гораздо меньше.

P.S. Сорри, если такое предложение уже было - вроде порылся на форуме, не нашел ничего такого...
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
alan
31.5.2011, 8:40
Сообщение #2


zzz...
*****

Группа: Администраторы Braingames
Сообщений: 13 479
Регистрация: 23.2.2009
Из: Симферополь
Пользователь №: 13 114



В целом звучит интересно. smile.gif

Но проблему "приходится долгое время ждать проверки" это не устранит. Так как, во-первых, запутанные решения все равно проверять не будут, а если будут, то неадекватно (не уверен, но, думаю, вполне нормальная ситуация когда все голосуют за незачет только потому, что решение запутанное - и получают свои баллы). Во-вторых в таких случаях нужен человек, который способен вести обсуждения, задать уточняющие вопросы, и т.п. - и все равно прийдется ждать модератора.
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
snav
31.5.2011, 9:27
Сообщение #3


Kорифей
****

Группа: Модераторы
Сообщений: 4 135
Регистрация: 13.4.2008
Из: Россия
Пользователь №: 7 457



Подход, конечно, оригинальный, но не думаю, что стоит его внедрять.

1. Как отметил alan, проверка задач в большинстве случаев предполагает диалог и повторную проверку ответов. С первого раза зачет получают немногие.
2. Мне кажется, для пользователей предпочтительно, чтобы их задачи проверяли грамотные и опытные люди, а не неизвестно кто. Доверять проверку новичку, решившему 1-2 задачи на сайте, на мой взгляд, неразумно. Сначала игрок должен длительное время побывать в шкуре проверяемого, разобраться с правилами сайта, освоить принципы ведения диалога по задачам, наконец, просто доказать, что он адекватный и неглупый человек.
3. Такая схема не защищена от мошенничества с множеством аккаунтов.
4. Как показывает опыт некоторых форумов, где пользователи выставляют друг другу репутацию, люди иногда злоупотребляют правами и действуют по принципу взаимной дружбы: "ты мне - я тебе".
5. Любое поощрение людей за проверку задач будет стимулировать снижение качества проверки. Именно поэтому для модераторов никаких бонусов за количество проверок не предусмотрено.
6. Наказание проверяющего лишь за то, что его мнение не совпало с мнением других проверяющих, подорвет принцип независимости и свободы судейства. Проверяющий должен стремиться к истине, а не к угождению большинству, тем более что большинство может ошибаться.

На самом деле, в руководстве сайта уже давно витает идея автоматического предоставления прав проверки некоторым пользователям (скорее всего - высокорейтинговым). Возможно, будет введена дополнительная группа, члены которой смогут проверять ответы игроков. А модераторы будут заниматься публикацией задач, ставить первые зачеты, следить за соблюдением правил, модерировать комментарии и рассматривать апелляции. Однако для реализации этих планов требуется серьезная переработка существующего программного кода. Кроме того, проверка задач игроками порождает ряд организационных вопросов, на которые пока нет ответа. В общем, когда это появится - неизвестно.
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Mescalero
31.5.2011, 10:49
Сообщение #4


Новичок
*

Группа: Пользователи Braingames
Сообщений: 7
Регистрация: 31.5.2011
Пользователь №: 25 823



QUOTE(snav @ 31.5.2011, 9:27) *

Подход, конечно, оригинальный, но не думаю, что стоит его внедрять.
1. Как отметил alan, проверка задач в большинстве случаев предполагает диалог и повторную проверку ответов. С первого раза зачет получают немногие.

Согласен. Зато будет лишний повод четко и грамотно писать решение, чтобы не приходилось по второму разу объяснять и долго ждать решения. Как вариант, такая система снимет с модеров нагрузку хотя бы по простым задачам, где особо нечего уточнять.

QUOTE(snav @ 31.5.2011, 9:27) *

2. Мне кажется, для пользователей предпочтительно, чтобы их задачи проверяли грамотные и опытные люди, а не неизвестно кто. Доверять проверку новичку, решившему 1-2 задачи на сайте, на мой взгляд, неразумно.

Мммм... не вижу проблемы, если мою задачу проверит новичек:
- во-первых он её решил, значит понимает, что к чему.
- во-вторых этот новичек будет лишь одним из 20-30-40 проверяющих - ничего особо не испортит при всем желании.


QUOTE(snav @ 31.5.2011, 9:27) *

3. Такая схема не защищена от мошенничества с множеством аккаунтов.

ммм... вот тут я не понял. Эта схема ничем не отличается от существующей, просто количество модераторов приближается к количеству пользователей сайта.
Если вы говорите про возможность самому себе поставить "зачет", то не выйдет - пользователь не будет знать, кому именно попадет его решение на проверку, поэтому подтвердить решение самому себе будет проблематично.

QUOTE(snav @ 31.5.2011, 9:27) *

4. Как показывает опыт некоторых форумов, где пользователи выставляют друг другу репутацию, люди иногда злоупотребляют правами и действуют по принципу взаимной дружбы: "ты мне - я тебе".

Опять же.. "Ты мне - я тебе" будет работать с 2-3-5 постоянными проверяющими. А если их на каждую задачу 50 и каждый раз они разные? Сложновато будет договариваться.
На крайняк можно сделать анонимную проверку: вам просто приходит решение от Анонимуса, вы проверяете и все, кто это конкретно - вы не знаете.

QUOTE(snav @ 31.5.2011, 9:27) *

5. Любое поощрение людей за проверку задач будет стимулировать снижение качества проверки. Именно поэтому для модераторов никаких бонусов за количество проверок не предусмотрено.

Вся идея держится на предположении, что большинство пользователей все-таки будет нормально проверять решения, а не ставить оценку "от балды". В этом случае низкое качество проверки будет означать потерю баллов, а баллы нужны вам для "оплаты" проверки ваших собственных решений. У кого нет/мало баллов, тот долго и нудно ждет модераторов - чем не повод повышать качество проверки?

QUOTE(snav @ 31.5.2011, 9:27) *

6. Наказание проверяющего лишь за то, что его мнение не совпало с мнением других проверяющих, подорвет принцип независимости и свободы судейства. Проверяющий должен стремиться к истине, а не к угождению большинству, тем более что большинство может ошибаться.

Тут, опять же, все держится на предположении, что большинство пользователей - умные соображающие люди, которые могут различить, где решение, а где отгадка просто. И если девять человек из 10 решили, что доказательство решения вполне адекватное, а десятому оно показалось негодным, то десятый либо тупо ткнул "незачет" не глядя вообще в решение, либо не разбирался, либо слишком уж "прикапывается" - почему бы и не наказать в этом случае?smile.gif

QUOTE(snav @ 31.5.2011, 9:27) *

На самом деле, в руководстве сайта уже давно витает идея автоматического предоставления прав проверки некоторым пользователям (скорее всего - высокорейтинговым).

ТОже вариант. Давать права на проверку не всем подряд (чтобы отсеивать совсем уж новичков), а более-менее опытным пользователям - можно даже не ограничиваться особо высокорейтинговыми, вполне подойдет и "средний класс" smile.gif

Как вариант, можно добавить в эту систему что-то вроде "фильтра": если человек слишком часто неверно оценивает чужие решения, то он исключается из проверяющих на какое-то время...

QUOTE(alan @ 31.5.2011, 8:40) *

Но проблему "приходится долгое время ждать проверки" это не устранит. Так как, во-первых, запутанные решения все равно проверять не будут...

По-крайней мере можно убрать с модераторов проверку легких задачек, значит у них больше времени будет на проверку сложных, значит сложные будут уже проверяться быстрее smile.gif
Насчет запутаных не знаю, на сайте я только сегодня появился, так что особо сложные задачки еще не решал smile.gif Может там и правда не так просто написать понятное решение..
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
АлександрС
31.5.2011, 11:07
Сообщение #5


дед
****

Группа: Модераторы BrainGames
Сообщений: 2 336
Регистрация: 28.4.2009
Из: Москва
Пользователь №: 14 120



QUOTE(Mescalero @ 31.5.2011, 11:49) *

Согласен. Зато будет лишний повод четко и грамотно писать решение, чтобы не приходилось по второму разу объяснять и долго ждать решения. Как вариант, такая система снимет с модеров нагрузку хотя бы по простым задачам, где особо нечего уточнять.

А при старой системе, что мешает писать "четко и грамотно" и снять нагрузку с модераторов? smile.gif
QUOTE(Mescalero @ 31.5.2011, 11:49) *

Мммм... не вижу проблемы, если мою задачу проверит новичек:
- во-первых он её решил, значит понимает, что к чему.
- во-вторых этот новичек будет лишь одним из 20-30-40 проверяющих - ничего особо не испортит при всем желании.

Получил зачет, решил и полностью разобрался в тонкостях задачи, не всегда, к сожалению, одно и тоже.
QUOTE(Mescalero @ 31.5.2011, 11:49) *


Тут, опять же, все держится на предположении, что большинство пользователей - умные соображающие люди, которые могут различить, где решение, а где отгадка просто. И если девять человек из 10 решили, что доказательство решения вполне адекватное, а десятому оно показалось негодным, то десятый либо тупо ткнул "незачет" не глядя вообще в решение, либо не разбирался, либо слишком уж "прикапывается" - почему бы и не наказать в этом случае?smile.gif


QUOTE(Mescalero @ 31.5.2011, 11:49) *

Как вариант, можно добавить в эту систему что-то вроде "фильтра": если человек слишком часто неверно оценивает чужие решения, то он исключается из проверяющих на какое-то время...

Значит нужен еще модератор для проверки действия модераторов. smile.gif

QUOTE(Mescalero @ 31.5.2011, 11:49) *

По-крайней мере можно убрать с модераторов проверку легких задачек, значит у них больше времени будет на проверку сложных, значит сложные будут уже проверяться быстрее smile.gif
Насчет запутаных не знаю, на сайте я только сегодня появился, так что особо сложные задачки еще не решал smile.gif Может там и правда не так просто написать понятное решение..

"Легкие" задачи понятие тоже относительное. Да и времени на их проверку уходит гораздо меньше.
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Mouse
31.5.2011, 11:58
Сообщение #6


и.о. админа
**

Группа: Администраторы
Сообщений: 86
Регистрация: 5.12.2006
Пользователь №: 20



QUOTE
По-крайней мере можно убрать с модераторов проверку легких задачек, значит у них больше времени будет на проверку сложных,

легкие задачи время на проверку не отнимают.
у некоторых "лёгких" задач есть особенности

сложности в основном либо с задачами у которых нет "простого" ответа, либо игрок решил/нерешил её очень хитрым способом
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
nik_vic
31.5.2011, 12:29
Сообщение #7


Активный участник
***

Группа: Пользователи Braingames
Сообщений: 753
Регистрация: 22.1.2008
Пользователь №: 6 125



QUOTE(Mouse @ 31.5.2011, 12:58) *

сложности в основном либо с задачами у которых нет "простого" ответа, либо игрок решил/нерешил её очень хитрым способом
Здесь разумно воспользоваться "помощью зала" (модераторов) - быть может, данной тройке игрок-задача-модератор трудно """понимать друг друга smile.gif

Ситуация, которая была обычной при составлении ответов ферматистов.


--------------------
Где это видано?
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Mescalero
31.5.2011, 13:41
Сообщение #8


Новичок
*

Группа: Пользователи Braingames
Сообщений: 7
Регистрация: 31.5.2011
Пользователь №: 25 823



QUOTE(АлександрС @ 31.5.2011, 11:07) *

А при старой системе, что мешает писать "четко и грамотно" и снять нагрузку с модераторов? smile.gif

ммм... эт да, тут не поспоришь... )))

QUOTE(АлександрС @ 31.5.2011, 11:07) *

Значит нужен еще модератор для проверки действия модераторов. smile.gif

Нет, с этим и скрипт справится, надо только установить "порог неправильности" и нет проблем. Опустился ниже порога - отдыхай недельку...
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
АлександрС
31.5.2011, 13:51
Сообщение #9


дед
****

Группа: Модераторы BrainGames
Сообщений: 2 336
Регистрация: 28.4.2009
Из: Москва
Пользователь №: 14 120



QUOTE(Mescalero @ 31.5.2011, 14:41) *

Нет, с этим и скрипт справится, надо только установить "порог неправильности" и нет проблем.

Тут-то проблемы и начнутся ... smile.gif
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
MouseHome
2.6.2011, 23:23
Сообщение #10


Новичок
*

Группа: Пользователи Braingames
Сообщений: 26
Регистрация: 21.3.2011
Пользователь №: 24 318



QUOTE
Нет, с этим и скрипт справится, надо только установить "порог неправильности" и нет проблем. Опустился ниже порога - отдыхай недельку...

как вы себе это представляете?
оценка решения модераторами и то проблемма, в КЖ модераторы не могут прийти к единому мнению. попробуйте написать скрипт который анализурует ответ на 2 строки (на самом деле их бывает больше) на ПРАВИЛЬНОСТЬ
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
UNDEFEAT
3.6.2011, 11:07
Сообщение #11


Avorthoren
****

Группа: Модераторы BrainGames
Сообщений: 3 847
Регистрация: 13.11.2010
Из: Kиев
Пользователь №: 21 696



На самом деле есть много задач, в которых ответы может проверять почти кто угодно (Путь разведчика, лестница на корабле, грузчики и т.п.) Это бы неплохо разгрузило модераторов.
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
MouseHome
3.6.2011, 11:15
Сообщение #12


Новичок
*

Группа: Пользователи Braingames
Сообщений: 26
Регистрация: 21.3.2011
Пользователь №: 24 318



QUOTE
На самом деле есть много задач, в которых ответы может проверять почти кто угодно (Путь разведчика, лестница на корабле, грузчики и т.п.) Это бы неплохо разгрузило модераторов.

эти задачи отнимают 10мин в день, а вот разработать мехонизм ещё то развлечение.
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
UNDEFEAT
3.6.2011, 11:43
Сообщение #13


Avorthoren
****

Группа: Модераторы BrainGames
Сообщений: 3 847
Регистрация: 13.11.2010
Из: Kиев
Пользователь №: 21 696



QUOTE(MouseHome @ 3.6.2011, 11:15) *

эти задачи отнимают 10мин в день, а вот разработать мехонизм ещё то развлечение.


Ну это уже другой вопрос smile.gif
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
сапер
3.6.2011, 12:06
Сообщение #14


сапёр
****

Группа: Пользователи Braingames
Сообщений: 1 972
Регистрация: 29.10.2007
Из: Москва
Пользователь №: 4 134



QUOTE(UNDEFEAT @ 3.6.2011, 12:07) *

На самом деле есть много задач, в которых ответы может проверять почти кто угодно (Путь разведчика, лестница на корабле, грузчики и т.п.) Это бы неплохо разгрузило модераторов.

smile.gif вспомнился очень давний разбор жалобы по задаче "Лестница на корабле"...То еще было "веселье".
Уж и не знаю, мог бы кто угодно противостоять тамошнему оппоненту? Эт вряд ли! smile.gif
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Mescalero
7.6.2011, 6:49
Сообщение #15


Новичок
*

Группа: Пользователи Braingames
Сообщений: 7
Регистрация: 31.5.2011
Пользователь №: 25 823



QUOTE(MouseHome @ 2.6.2011, 23:23) *

как вы себе это представляете?
оценка решения модераторами и то проблемма, в КЖ модераторы не могут прийти к единому мнению. попробуйте написать скрипт который анализурует ответ на 2 строки (на самом деле их бывает больше) на ПРАВИЛЬНОСТЬ

Вы не поняли. Правильность решения проверяют живые люди. Скажем, одно решение проверили 100 человек, 80 из которых "проголосовали" за - т.е. решение по их мнению верное, 20 - против, т.е. решение считают неверным.
А вот тут уже скрипт определяет, можно ли решение считать верным по результатам голосования проверяющих. Скрипту надо задать только "порог верности" - скажем, если есть 80% "за", то решение верное.

QUOTE(MouseHome @ 3.6.2011, 11:15) *

эти задачи отнимают 10мин в день, а вот разработать мехонизм ещё то развлечение.

Разработать механизм стоит хотя бы потому, что сайт в этом случае гораздо меньше зависит от модераторов и гораздо быстрее работает.
Любому человеку, я думаю, оооочень любопытно, правильно ли он решил задачу или нет smile.gif
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Mouse
7.6.2011, 11:05
Сообщение #16


и.о. админа
**

Группа: Администраторы
Сообщений: 86
Регистрация: 5.12.2006
Пользователь №: 20



QUOTE
Разработать механизм стоит хотя бы потому, что сайт в этом случае гораздо меньше зависит от модераторов и гораздо быстрее работает.

работать он скорее будет медленнее.
сайт не зависит от модераторов, если есть желание модератором может стать любой
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Ischo_Tatiana
7.6.2011, 20:13
Сообщение #17


Активный участник
***

Группа: Модераторы BrainGames
Сообщений: 585
Регистрация: 29.11.2010
Пользователь №: 21 867



QUOTE(Mouse @ 7.6.2011, 12:05) *

если есть желание модератором может стать любой

"Так выпьем же за то, чтобы наши желания совпадали с нашими возможностями"


--------------------
Если задачу засчитывают, то это не значит, что она решена
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
VitalyKolobkov
25.10.2011, 22:07
Сообщение #18


Участник
**

Группа: Пользователи Braingames
Сообщений: 244
Регистрация: 18.2.2011
Пользователь №: 23 171



Я не особо понимаю, зачем нужна быстрая проверка. Едва ли многие на этом сайте способны решать задачи быстрее, чем их проверяют. Если и так, то такой человек скорее всего умеет решать коротко, четко и понятно, так что его как раз проверят быстро.
Кроме того, вы посмотрите сколько висяков, то есть когда человек дает ответ, ему отвечают "неверно", после чего человек пропадает очень надолго. Скорость проверки всего лишь увеличит число таких ситуаций и слабо повлияет на людей, кто действительно решает много и правильно.
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
anddros
28.10.2011, 14:23
Сообщение #19


Новичок
*

Группа: Пользователи Braingames
Сообщений: 27
Регистрация: 11.8.2011
Пользователь №: 26 968



QUOTE(VitalyKolobkov @ 25.10.2011, 23:07) *

Я не особо понимаю, зачем нужна быстрая проверка. Едва ли многие на этом сайте способны решать задачи быстрее, чем их проверяют.

В начале пути простенькие задачки щелкаются десятками за день. Естественно и скапливаются при этом в 'Обсуждаемых'. /*Было время, когда у мну кол-во задач с модератором 'пока никто' достигало 120-130 штук smile.gif */ По мере усложнения решаемых задач, эта толпа, разумеется, рассасывается.

Торопят проверку, думаю, в основном те, у кого зачтено на десяток баллов, а отвечено на в несколько раз больше. smile.gif

Если проблема с модераторами действительно существует, то думаю, достаточно просто снизить ценз набранных баллов для вступления в ряды. Сейчас вроде это 75% от 882 = 662. За этот рубеж перебралось всего 85 человек. Добрая половина из них уже модераторы. Если снизить планку, скажем, до 50%, то этому уже удовлетворит 233 человека на данный момент. Наверняка желающие из них найдутся...
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения
Powered by Java
28.10.2011, 14:54
Сообщение #20


Активный участник
***

Группа: Модераторы BrainGames
Сообщений: 544
Регистрация: 9.6.2008
Пользователь №: 8 397



QUOTE(anddros @ 28.10.2011, 15:23) *

/*Было время, когда у мну кол-во задач с модератором 'пока никто' достигало 120-130 штук smile.gif */

Неверю! (с) Станиславский smile.gif
Пользователь в офлайнеКарточка пользователяОтправить личное сообщение
Вернуться в начало страницы
+Ответить с цитированием данного сообщения

2 Страниц V  1 2 >
Ответить в эту темуОткрыть новую тему
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0 -

 



- Упрощённая версия Сейчас: 24.4.2024, 1:32
Яндекс.Метрика