Background jobs with realtime results – RailsClub'Moscow 2012

Transcript

1. Фоновые задания с результатами в реальном времени Сергей Нартымов Brainspec https://github.com/lest twitter: @just_lest
2. О себе • Rails, Rubinius, Elixir contributor • Señor software engineer at Brainspec • Консалтинг, обучение, разработка Сергей Нартымов Brainspec https://github.com/lest twitter: @just_lest
3. Длительные операции • Отправка персонализированнх нотификаций • Обработка загружаемых файлов • Генерация больших отчетов • Взаимодействие с медленным API
4. Принцип работы Браузер Приложение
5. Принцип работы Браузер Очередь заданий Приложение
6. Принцип работы Браузер Очередь заданий Рабочие процессы Приложение
7. Преимущества • Отзывчивость интерфейса • Распределение нагрузки
8. DelayedJob • https://github.com/collectiveidea/delayed_job • Выделен из Shopify • Задания хранятся в базе данных • Сериализация с помощью YAML
9. DelayedJob class Device def deliver # long running method end handle_asynchronously :deliver end
10. DelayedJob class Device def deliver # long running method end handle_asynchronously :deliver end device = Device.new device.deliver
11. DelayedJob class LongTasks def send_mailer # Some other code end handle_asynchronously :send_mailer, :priority => 20 def in_the_future # Some other code end # 5.minutes.from_now will be evaluated when in_the_future is called handle_asynchronously :in_the_future, :run_at => Proc.new { 5.minutes.from_now } end
12. DelayedJob object.delay(:queue => 'tracking').method Delayed::Job.enqueue job, :queue => 'tracking' handle_asynchronously :tweet_later, :queue => 'tweets'
13. DelayedJob bundle exec rake jobs:work QUEUE=tracking rake jobs:work QUEUES=mailers,tasks rake jobs:work
15. DelayedJob
16. Resque • https://github.com/defunkt/resque • Разработан и используется в Github • Задания хранятся в Redis • Для сериализации используется JSON
17. Resque class Archive @queue = :file_serve def self.perform(repo_id, branch = 'master') repo = Repository.find(repo_id) repo.create_archive(branch) end end
18. Resque class Repository def async_create_archive(branch) Resque.enqueue(Archive, self.id, branch) end end
19. Resque QUEUE=file_serve rake resque:work QUEUES=critical,archive,high,low rake resque:work VERBOSE=1 QUEUE=* rake resque:work
21. Resque plugins • resque-scheduler • resque-retry • resque-throttle • resque-workers-lock • ...
22. Sidekiq • https://github.com/mperham/sidekiq • Выполняет задания в потоках • Используется Celluloid • Задания хранятся в Redis • Сериализует данные в JSON
23. Sidekiq # app/workers/hard_worker.rb class HardWorker include Sidekiq::Worker def perform(name, count) puts 'Doing hard work' end end
24. Sidekiq # app/workers/hard_worker.rb class HardWorker include Sidekiq::Worker def perform(name, count) puts 'Doing hard work' end end HardWorker.perform_async('bob', 5)
25. Sidekiq class ImportantWorker include Sidekiq::Worker sidekiq_options :queue => :critical def perform(*important_args) puts "Doing critical work" end end
26. Sidekiq bundle exec sidekiq
27. Sidekiq bundle exec sidekiq -c 100
28. Sidekiq bundle exec sidekiq bundle exec sidekiq \ -q critical,2 -q default
29. Sidekiq • Повторное выполнение в случае ошибок • Выполнение заданий по расписанию • Совместимость с Resque
31. Что использовать?
32. Что использовать? • DelayedJob • Resque • Sidekiq
33. Общие советы • Храните в очереди идентификаторы, а не состояние • Используйте after_commit в ActiveRecord для добавления задания в очередь • Избегайте блокировок
34. Rails 4 Queue Rails.queue.push SomeJob.new Rails.queue[:mail_queue].push MailJob.new
35. Результаты фоновых заданий
36. Результаты фоновых заданий • Обновить страницу вручную
37. Результаты фоновых заданий • Обновить страницу вручную • Автоматичекое обновление через AJAX
38. Результаты фоновых заданий • Обновить страницу вручную • Автоматичекое обновление через AJAX • Push результатов в браузер – WebSockets, long polling, ...
39. Push данных Очередь заданий Рабочие процессы Приложение Браузер
40. Push данных Очередь заданий Рабочие процессы Приложение Браузер Push сервер
41. Push данных Очередь заданий Рабочие процессы Приложение Браузер Push сервер
42. Push данных Очередь заданий Рабочие процессы Приложение Браузер Push сервер
43. Pusher • http://pusher.com/ • Сервис • Есть бесплатный тариф
44. Pusher
45. Pusher Pusher['my-channel'].trigger('my-event', {'message' => 'hello world'})
46. Pusher <script src="http://js.pusher.com/1.12/pusher.min.js"></script> var channel = pusher.subscribe('my-channel'); channel.bind('my-event', function(data) { alert('Received my-event with message: ' + data.message); }); Pusher['my-channel'].trigger('my-event', {'message' => 'hello world'})
47. Faye • http://faye.jcoglan.com/
48. Faye • http://faye.jcoglan.com/ • Open source
49. Faye • http://faye.jcoglan.com/ • Open source • Серверная часть на любой вкус – Ruby/EventMachine и Node.JS
50. Faye • http://faye.jcoglan.com/ • Open source • Серверная часть на любой вкус – Ruby/EventMachine и Node.JS • Можно масштабировать
51. Faye • http://faye.jcoglan.com/ • Open source • Серверная часть на любой вкус – Ruby/EventMachine и Node.JS • Можно масштабировать • Более тесная итеграция с приложением
52. Faye require 'faye' faye = Faye::RackAdapter.new(:mount => '/faye') faye.listen(9292)
53. Faye require 'faye' faye = Faye::RackAdapter.new(:mount => '/faye') faye.listen(9292) var Faye = require('faye'), server = new Faye.NodeAdapter({mount: '/'}); server.listen(9292);
54. Faye <script src="http://localhost:9292/faye"></script> var client = new Faye.Client('http://localhost:9292/faye'); client.subscribe('/messages', function(message) { alert('Got a message: ' + message.text); });
55. Faye client = Faye::Client.new('http://localhost:9292/faye') client.publish('/messages', 'text' => 'Hello world')
57. Масштабирование Faye
58. Faye & Rails • Private Pub https://github.com/ryanb/private_pub • d'Anthès https://github.com/phenomena/danthes
59. Faye, Pusher, etc. • Уведомления • Обновление комментариев • Совместное редактирование
60. Спасибо Сергей Нартымов Brainspec https://github.com/lest twitter: @just_lest