Комментарии: Атомарность операций и счетчики в memcached http://www.smira.ru/2008/10/24/web-caching-memcached-3/ Thu, 13 Jan 2011 15:03:38 +0000 hourly 1 http://wordpress.org/?v=3.2.1 Автор: Андрей http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-948 Андрей Fri, 20 Mar 2009 05:52:17 +0000 http://www.smira.ru/?p=142#comment-948 <p>Yuriy, в общем случае трудно дать совет, тут необходимы детали реализации механизма.</p> <p>Например, я считаю показы только в счетчиках, ставлю время жизни 0 (бесконечно). Они могут быть вытеснены, но я должен следить за тем, чтобы было достаточно памяти и этого не случалось. Раз в час снимаю показания и обновляю БД. Если счетчика нет в memcached, можно взять из БД начальное значение.</p> <p>Я бы могу посоветовать другую мою статью про memcached, там даны более точные и формальные описания структур данных: http://www.smira.ru/2009/01/21/data-structures-in-memcached-memcachedb/</p> Yuriy, в общем случае трудно дать совет, тут необходимы детали реализации механизма.

Например, я считаю показы только в счетчиках, ставлю время жизни 0 (бесконечно). Они могут быть вытеснены, но я должен следить за тем, чтобы было достаточно памяти и этого не случалось. Раз в час снимаю показания и обновляю БД. Если счетчика нет в memcached, можно взять из БД начальное значение.

Я бы могу посоветовать другую мою статью про memcached, там даны более точные и формальные описания структур данных: http://www.smira.ru/2009/01/21/data-structures-in-memcached-memcachedb/

]]> Автор: Yuriy http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-947 Yuriy Thu, 19 Mar 2009 16:26:06 +0000 http://www.smira.ru/?p=142#comment-947 <p>А как быть со значениями, которые не изменились в течении часа, но по ним будет сделан апдейт в базу. Т.е. к примеру у меня накопилось 100 счетчиков в мемкеше 10 из них изменилось но делаю апдейт по всем 100. Какое время жизни выбирать для ключа и как его соглаосвывать с вызовами апдейтов. Очевидно, что возникнет ситуация, когда ключ с изменным значением будет вытеснен ранее чем считан для апдейта.</p> А как быть со значениями, которые не изменились в течении часа, но по ним будет сделан апдейт в базу. Т.е. к примеру у меня накопилось 100 счетчиков в мемкеше 10 из них изменилось но делаю апдейт по всем 100. Какое время жизни выбирать для ключа и как его соглаосвывать с вызовами апдейтов. Очевидно, что возникнет ситуация, когда ключ с изменным значением будет вытеснен ранее чем считан для апдейта.

]]> Автор: Андрей http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-876 Андрей Tue, 28 Oct 2008 11:05:41 +0000 http://www.smira.ru/?p=142#comment-876 <p>Нет, аккумулирование просмотров может происходить без memcached, и тогда потери в просмотрах на уровне БД не будет. Если корректно обновим счетчик в memcached - то компенсируем потери ключей. </p> <p>Для действительно аккуратного расчета просмотров memcached - не самое надежное хранилище статистики.</p> <p>Пример возможного варианта: логируем просмотры в локальных файлах, раз в час собираем все логи в одном месте, обрабатываем, выполняем запрос в БД на обновление данных, проверяем счетчики в memcached - если там значение больше набежало, ничего не делаем, если меньше - корректируем до значения из БД.</p> Нет, аккумулирование просмотров может происходить без memcached, и тогда потери в просмотрах на уровне БД не будет. Если корректно обновим счетчик в memcached – то компенсируем потери ключей.

Для действительно аккуратного расчета просмотров memcached – не самое надежное хранилище статистики.

Пример возможного варианта: логируем просмотры в локальных файлах, раз в час собираем все логи в одном месте, обрабатываем, выполняем запрос в БД на обновление данных, проверяем счетчики в memcached – если там значение больше набежало, ничего не делаем, если меньше – корректируем до значения из БД.

]]> Автор: Pashugan http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-875 Pashugan Tue, 28 Oct 2008 11:01:27 +0000 http://www.smira.ru/?p=142#comment-875 <p>Хорошо, тогда почему возник сам вопрос. В статье сказано про блокировки, призванные не позволить потеряться ни одному просмотру. В то же время при политике сохранения "раз в час" может потеряться заметное число просмотров, если memcached вытеснит некий счётчик как редко используемый. Я не пытаюсь Вас подловить, просто хотелось бы явного указания в статье на возможные проблемы и пути их решения. Ради общего блага. :)</p> Хорошо, тогда почему возник сам вопрос. В статье сказано про блокировки, призванные не позволить потеряться ни одному просмотру. В то же время при политике сохранения «раз в час» может потеряться заметное число просмотров, если memcached вытеснит некий счётчик как редко используемый. Я не пытаюсь Вас подловить, просто хотелось бы явного указания в статье на возможные проблемы и пути их решения. Ради общего блага. :)

]]> Автор: Андрей http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-873 Андрей Tue, 28 Oct 2008 10:49:45 +0000 http://www.smira.ru/?p=142#comment-873 <p>Там было сказано о том, что данные аккумулируются и сохраняются. Способ не был озвучен сознательно, т.к. к самому счетчику это может и не иметь отношения. Можно складывать в локальные файлы, можно в тот же memcached, можно как-то собирать с серверов, но основное, что мы имеем возможность, например, в течение часа собирать, а потом один раз в час обновить значения счетчиков в БД. В это время мемкешовые будут продолжать считать.</p> Там было сказано о том, что данные аккумулируются и сохраняются. Способ не был озвучен сознательно, т.к. к самому счетчику это может и не иметь отношения. Можно складывать в локальные файлы, можно в тот же memcached, можно как-то собирать с серверов, но основное, что мы имеем возможность, например, в течение часа собирать, а потом один раз в час обновить значения счетчиков в БД. В это время мемкешовые будут продолжать считать.

]]> Автор: Pashugan http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-872 Pashugan Tue, 28 Oct 2008 10:31:38 +0000 http://www.smira.ru/?p=142#comment-872 <p>По поводу счётчиков просмотров, хотелось бы подробностей. Не было сказано про политику сохранения значений счётчика в базу.</p> По поводу счётчиков просмотров, хотелось бы подробностей. Не было сказано про политику сохранения значений счётчика в базу.

]]> Автор: Андрей http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-870 Андрей Fri, 24 Oct 2008 11:28:54 +0000 http://www.smira.ru/?p=142#comment-870 <p>Мы могли бы выделить два ключа - это минимум возможный. Один меняем, другой показываем. Так получается более сглаженная картинка, которая меняется несколько более плавно при резком притоке/оттоке посетителей.</p> <p>Спасибо, обновил запись!</p> Мы могли бы выделить два ключа – это минимум возможный. Один меняем, другой показываем. Так получается более сглаженная картинка, которая меняется несколько более плавно при резком притоке/оттоке посетителей.

Спасибо, обновил запись!

]]> Автор: Станислав http://www.smira.ru/2008/10/24/web-caching-memcached-3/comment-page-1/#comment-869 Станислав Fri, 24 Oct 2008 10:00:26 +0000 http://www.smira.ru/?p=142#comment-869 <p>А какой смысл делать 6 полей для расчета сколько человек в онлайне?</p> А какой смысл делать 6 полей для расчета сколько человек в онлайне?

]]>