Sunday, September 25, 2011

Link dump: Continuous Delivery, data mining на больших объемах и миллион соединения на одном сервере

Continuous Delivery (или deployment) это логическое развитие Continuous integration. Если CI концентрируется на том, что бы приложение корректно собиралось и проходило различные тесты, то CD это набор практик облегчающий выкатывание нового функционала на рабочее окружение. Что крайне полезно для разработки сайтов и всяких SaaS сервисов, где клиент хочет получить новые изменения как можно быстрее. Статья и книга на эту тему.

Бесплатная книга из Стенфорда в Mining of Massive Datasets. Обработка больших массивов данных. Извлечение знаний. Map-Reduce, поиск похожих элементов, анализ потоков и ссылок (Page Rank), кластеризация, рекомендательные системы

Времена меняются. Проблема С10K решается уже сравнительно просто. Умельцы берут новые высоты в 1.000.000 активных соединений Сразу два примера из реальной жизни, причем в обоих случаях при помощи Erlang.

Wednesday, May 4, 2011

Видеокурсы информационных технологий от Yandex

Яндекс все же молодец. Вкладываю ресурсы в обучение, готовят кадры. Выложили в свободны доступ записи своего курса информационных технологaий. Посмотрел первое видео - очень толково. Советую всем кто хочет разобраться в Linux и вообще современных ОС подробней. Видно что рассказывает практик.

Однако качать с их хостинга очень уныло. Добрый люди уже все собрали в торент Налетай пока сиды есть :)

Monday, March 28, 2011

А что у нас собственно HandlerSocket?

Комрады из Percona пишут о том что сейчас происходит с HandlerSocket (напомню что это замечательный патч к MySQL который позволяет получать доступ к данным со скоростью NoSQL решния, не терия всех бонусов SQL)

Все как я и предпологал - первоночальный всплеск интереса прошел и проект перешел в нормальный, рабочий режим. В продакшен пускать еще рано - баги... Однако Перкона активно продвегает HandlerSocket, так что у меня нет ни каких сомнений, что в течение 6 месяцев мы получим чтото "продакшен реди".

Лично мы сильно думаем перейти на Percona сервер. И пока что останавливает только плохая поддержка Percona Server на FreeBSD.

Tuesday, March 22, 2011

Архитектура Одноклассников

Обнаружил достаточно подробное описание архитектуры Однокласников
Очень не обычное сочетание технологий. Где то в коментах писали, что изначально было ASP.NET с которого перелезли на Java. Что могу сказать, конечно как сервис, Однокласники, вызывает у меня только приступы эпилепсии, однако чисто технически проект, конечно, сложный. Так что мое уважение команде.

Думаю данное описание лишний раз подтверждает, что главное это умение, а какой инструмент использовать это уже вторично.

Friday, March 18, 2011

Подборка видео с PHP UK conf и кое что про очереди сообщений

В конце февраля прошел очередной PHP UK conference. Доступны материалы с выступлений.
Попдаются весьма интересные темы:
  • The InnoDB Storage Engine for MySQL
  • Advanced OO Patterns
  • Continuous Improvement in PHP Projects
  • Large-scale Data Processing with Hadoop and PHP
И тд. Советую посмотреть.

Бесплатным бонусом сегодня идет статья с вики SecondLife (дада, знаменитого вирутального мира). В свое время они провели очень скорпулезное исследование систем очередей сообщений (Message queuing systems). От многочисленных обзоров в итнернете, этот выгодно отличается своим размахом и тем что ребята, судя по всему, действительно чательно тестировали какждую систему.

Thursday, December 30, 2010

Видео от Игоря Сысоев: маштабируемая конфигурация nginx

Замечательная призентация от создателя не менее замечательного сервера nginx о том, как нужо правильно составлять конфиги.

 

Wednesday, December 15, 2010

Праздник на улице MySQL


Не смотря на то, что MySQL многие предрекали скорую смерть, труп выглядит вполне живым и бодрым. Сразу два знаковых события произошло в мире MySQL



Во-первых Oracle объявил о выпуске версии 5.5 Больших изменений не видно, упор сделан на производительность и масштабируемость. Интегрировали знаменитые патчи от Google. Допилили партицирование. Это вселяет надежду, что Oracle будет развивать проект и дальше.


Во-вторых, компания Percona объявила о том, что начиная с версии 5.1.52-12.3 Percona Server будет поддерживать патч HandlerSocket. И это, уважаемые мои, реально меняет многое!

Поясню. Так получилось, что в свете последних событий, появилось достаточно много форков MySQL. Perconа разрабатывает один из них, основанный на движке XtraDB, который является развитием InnoDB, но при этому полностью с ним совместим. Надо сказать, что слышал об этом сервере только хорошее.

HandlerSocket это гениальная и очень простая штука от Inada Naoki. Он совершенно верно прикинул, что 90% запросов в приложение идет по PK без всяких JOIN-ов. И говоря откровенно использование SQL в таких случаях только создает дополнительную нагрузку на СУБД. Он написал интерфейс, который позволяет работать с данными в InnoDB через API минуя парсер SQL и оптимизатор. И надо сказать, прирост скорости который он получил, очень и очень впечатляет. Подробней в переводе исходной статьи.

Таким образом, теперь к одним и тем же данным можно обращаться через SQL для сложных запросов, либо через HandlerSocket API для key-value выборок. По утверждению автора, во втором случае скорость сопоставима с memcached. Лично я буду следить за этой разработкой и с радостью буду использовать в живых проектах, когда она станет достаточно стабильной.