Комментарии: HL++ (2009): Twisted Framework

Автор: Rush

Rush — Tue, 23 Nov 2010 21:27:12 +0000

Насчёт key-value – сейчас их огого, не говоря про документ-ориентированные БД. Меня устраивает связка redis+mongodb+postgres. Каждая применяется в своей части проекта в связи с его спецификой.

Автор: Rush

Rush — Tue, 23 Nov 2010 21:24:26 +0000

@Deepwalker, я использую txpostgres. Никаких тредов, всё работает именно в идеологии twisted. API 1:1 twisted adbapi. Но джанго я не использую, поэтому не в курсе, поможет ли тебе эта инфа.

Автор: Андрей

Андрей — Mon, 19 Oct 2009 04:49:01 +0000

M0sTH8, сегодня key-value систем очень много. Когда я думал о создании приложения, использующего только key-value хранилище, был доступен только MemcacheDB. Его я и решил попробовать в Qik Push Engine.

С точки зрения доступных фич (мастер-слейв) и производительности он меня совершенно удовлетворяет. MemcacheDB прост, очень прост. Я не могу сказать ничего про другие решения, так как я их сам не пробовал.

Автор: M0sTH8

M0sTH8 — Sun, 18 Oct 2009 12:59:13 +0000

Здравствуйте Андрей, из существующих решений key-value storage (CoachDb, MemcacheDB, Redis, MangoDB и т.п.), что бы вы посоветовали?

Автор: Burus

Burus — Fri, 16 Oct 2009 18:47:06 +0000

Да, именно через простоту к совершенству. Чаще всего проблемы из-за макаронного кода, в котором разработчики попутно реализации задачи решили сделать универсальный фреймворк =)

Автор: Андрей

Андрей — Fri, 16 Oct 2009 05:04:23 +0000

Alex, на сайте самого HighLoad (http://highload.ru/) или на smotri.com можно поискать.

Burus, могу добавить из опыта. Очень классно работает система на key-value storage – хранятся объекты, индексы создаются и т.п., надо будет об этом как-нибудь рассказать.

Автор: Burus

Burus — Fri, 16 Oct 2009 02:28:07 +0000

async sqlalchemy - не плохо работает, но когда нужно реально много данных гонять и обрабатывать при помощи сценариев на Twisted, то прослойка ORM только мешает. Так же с Django. Не нужен там Twisted, если это не внешний сервис с которым можно общаться другими нативными средствами без включения одного проекта в другой.

Асинхронный доступ к базе попросту не нужен. Работает psycopg глючно и на больших нагрузках любит валиться, как 1 так и 2 версия. Смесь Web Framework + Twisted = Zope3 - Ужасный мертворожденный монстр. Спасает Django, AJAX и хорошее проектирование с доступом к данным в обход ORM, через custom manager + memcached, который сохраняет уже готовый результат рендеринга в шаблон на уровне маленьких блоков. Не путайте с templatetag cache.

Андрей, спасибо что развиваете аудиторию Twisted. Думаю что рано или поздно мы познакомимся очно.

Автор: alex

alex — Thu, 15 Oct 2009 14:35:00 +0000

А есть где-нибудь видео конференции за прошлый год?

Автор: Alexandr Gorlov

Alexandr Gorlov — Thu, 15 Oct 2009 08:06:59 +0000

Спасибо, за доклад, он один из лучших.

и про Деферред тоже было интересно узнать, будем учиться

Автор: Андрей

Андрей — Wed, 14 Oct 2009 07:43:57 +0000

Deepwalker, насчет django + twisted я согласен полностью, лучше уж просто на twisted. Но и для twisted есть большое количество «плюшек», например:

Divmod (http://divmod.org/) – там есть и некоторый ORM, и шаблоны, вьюхи и т.п.
Раньше еще был «async sqlalchemy» – сделанный под twisted, сейчас сайт лежит

P.S. Я сам это все не пробовал

Автор: Deepwalker

Deepwalker — Wed, 14 Oct 2009 06:56:30 +0000

Это я спрашивал : ) Но вот эта схема, с WSGI, никаких плюшек не дает. Для получения какой то выгоды от скрещивания, надо как минимум переделать доступ к БД на асинхронный. То есть по хорошему надо лезть джанге под капот.

Можно сделать свой драйвер для джанговского орма, чтобы, как минмум, ожидание результатов запроса к БД не мешало работе.

А еще стоит наверное запросы тоже принимать самому Twisted и через django.conf.urls.defaults.RegexURLResolver выбирать вьюхи и передавать им параметры. Вьюхи должны будут возвращать HTTPResponse уже не джанговский, что понятно. Вьюхи можно будет заворачивать в декоратор inlineCallbacks.

И после всего этого это уже явно будет не джанго : ) Но скорости работы это все должно добавить, оставив при этом богатство шаблонов, форм, ну и возможно ОРМа. По моему мнению twisted.web на фоне джанго смотрится весьма бледно, так что связка получилась бы неплохой.

P.S. Я находил этот самый pgasync, но давность последнего коммита меня насторожила - обычно все мы проходим мимо мертвых проектов.

Автор: Андрей

Андрей — Wed, 14 Oct 2009 06:36:47 +0000

Alexander, django + twisted есть (google: http://www.google.ru/search?sourceid=chrome&ie=UTF-8&q=django+twisted). Я не пробовал, не могу ничего сказать.

По поводу twisted и web. Обычно, это просто запутанность ситуации в самом Twisted. Есть две реализации web-протоколов: twisted.web & twisted.web2. Когда-то предполагалось, что web2 заменит web, но, как оказалось, web2 получился еще хуже Сегодня web2 не входит в стандартный пакет twisted вообще (его можно поставить отдельно). Активным разрабатываемым является twisted.web – туда переносятся недостающие фичи из twisted.web2.

По поводу написания http-сервера на twisted порекомендовал бы цикл постов в блоге одного из разработчиков twisted: http://jcalderone.livejournal.com/50562.html

Автор: Alexander Artemenko

Alexander Artemenko — Wed, 14 Oct 2009 06:30:08 +0000

Огромное спасибо за доклад, получил невероятное удовольствие!

В чате online трансляции несколько человек очень интересовались вопросом: "Можно ли скрестить Django с Twisted?" Другие же утверждали, что вебовская часть твистеда по меньшей мере странна и недоделана. Что вы думаете по этому поводу?

Автор: Андрей

Андрей — Wed, 14 Oct 2009 05:43:59 +0000

Denis, неблокирующий ввод-вывод – это fcntl с O_NONBLOCK. Это обязательно делается при любом виде работы с select()/poll(). В нашей и западной терминологии как чистый AIO (который редко где работает нормально), так и комбинация select+nbio называется async IO

Автор: Андрей

Андрей — Wed, 14 Oct 2009 05:41:34 +0000

Deepwalker, насчет psycopg2 & Twisted – это не сработает, насколько я знаю. Есть реализация postgresql для twisted: http://www.jamwt.com/pgasync/. Она немного кривоватая, ее надо «подкрутить» (я это делал когда-то), и она вполне себе работает.

Автор: Denis Bazhenov

Denis Bazhenov — Tue, 13 Oct 2009 22:31:31 +0000

Стоит отметить, что poll()/select() это не асинхронный, а не блокирующий ввод/вывод. Разница может показаться незначительной, но она есть. Довольно хорошо ее видно по структуре паттернов reactor(nbio) и proactor(aio).

Автор: Deepwalker

Deepwalker — Tue, 13 Oct 2009 19:28:12 +0000

Здравствуйте, Андрей! С большим интересом прослушал сегодня ваш доклад. Но вот отвлекся на моменте, когда вы обсуждали уже что то с коллегой из HH, что то сказали про postgresql, то ли вы, то ли он – очень мне интересен истинно асинхронный подход к работе с ним. Известно, что в psycopg2 асинхронный режим есть, а вот возможно ли его скрестить с твистед?