SORU
8 NİSAN 2012, Pazar


Linux cron jobs dönüştürmek &; Amazon yolu "nasıl"?

İyi ya da kötü, bulut için özel makineler (Amazon EC2 makineleri) LAMP web tüm uygulama göç etmiş. Şu ana kadar harika gidiyor ama crons bizim gibi alt-optimal. En iyi bulut kullanarak cron işleri yönetme hakkında Amazon özgü bir soru var "Amazon".

Sorun: Birden çok web sunucuları var, ve oluşturma RSS, tetikleme e-postalar, çok farklı şeyler aslında gibi toplu işler için crons çalıştırmanız gerekir. AMA cron işleritek bir makine üzerinde çalıştırmak gerekiyorgenellikle yaz çünkü veritabanı eğer birden fazla makine üzerinde çalıştırmak sonuçlarını yinelenen.

Şimdiye kadar, gibi Web sunucuları birini tespit ettik "master-Web sunucusu" ve bir kaç "özel" diğer web sunucuları yok o görevler. Bu anlaşma bilişim güvenilirlik - bir istemediğimiz için bulut "master-Web sunucusu" çünkü tek bir hata noktası. Hepsini aynı olması ve lüks ve küme dışı master-Web sunucusu almamaya hatırlamadan fakir olmak istiyoruz.

Nasıl tek bir hata noktası yoktur Bu geçici çalışma öğeleri içine Linux cron jobs dönüştürmek için bizim uygulama yeniden dizayn edebilir miyiz?

Benim fikirlerim şimdilik:

  • Bir makine sadece çalışan crons için adadım. Bu biraz daha derli toplu ama yine de tek-nokta-bir hata olurdu ve biraz para ekstra bir örneği olan israf olur.
  • Bazı işleri makul MySQL Events Linux crons ancak veritabanı katmanına uygulama mantığı koymak istemiyorum bu fikir büyük bir hayranı değilim taşınmış olabilir.
  • Belki de yapabiliriz tüm crons tüm makineler ama değiştirmek bizim cron betikleri yani hepsi başlaması ile biraz mantığını uygulayan bir kilitleme mekanizması yalnızca bir sunucu gerçekten alır eylem ve diğerleri sadece atlayın. Potansiyel olarak hatalı geliyor bu fikir bir hayranı değilim ve bir Amazon en iyi uygulama bizim kendi haddeleme yerine kullanmayı tercih ediyorum.
  • İşler bir yere, sıraya eklendi planlanıyor ve web sunucuları bir işçi olabilir, her bir durum hayal ediyorum, diyebilir "hey, ben bunu alacağım". Amazon Simple Workflow Service şey tam da bu tür sesler ama herhangi bir detay yararlı olacağını, bu nedenle şu anda bu konuda fazla bir bilgim yok. Bir şey için ağır bir cron kadar basit gibi görünüyor? Doğru hizmet ya da orada daha uygun Amazon bir hizmettir?

Güncelleme:Soru YouTube Amazon Simple Workflow Service Semineri izledim ve 34:40 (http://www.youtube.com/watch?v=lBUQiek8Jqk#t=34m40s) fark ettim soran beri örnek bir uygulama olarak bir slayt cron işleri söz gözüme çarptı. Belgeleri kendi sayfasında, "AWS Flow Framework samples for Amazon SWF", Amazon örnek söylüyorlar crons için kod:

... Bu örnek, uzun bir koşu düzenli olarak iş akışı bir faaliyet yürütür. Yeni olarak devam edebilme infaz yani bir idam infaz çok uzun süre çalışabilir zaman gösterdi. ...

Bu BÖLÜM Java (http://aws.amazon.com/sdkforjava/) SDK ve java kod (aws-java-sdk-1.3.6/samples/AwsFlowFramework/src/com/amazonaws/services/simpleworkflow/flow/examples/periodicworkflow) var klasörler saçma katmanları içinde gömülü indirdim.

Sorun, eğer dürüst olmam gerekirse, bu gerçekten kolay benim skillset ile yiyebilirim bir şey değil gibi yardımcı olmuyor. Aynı örneği PHP SDK eksik ve sürecin rağmen yürüyüşlere görünmüyor. Yani temelde, hala bir tavsiye veya ipuçları için arıyorum.

CEVAP
4 Mayıs 2012, Cuma


Amazon Altın Destek onlara bu soruyu sormak için kaydoldum, bu onların yanıt oldu:

Tom

Bazı meslektaşlarım hızlı bir anket yaptım ve boş geldi cron, ama önemli bir adım olabilir fark ettim uyuduktan sonra kilitleme için sınırlı. "Dağıtılmış cron işi kilitleme"için baktım ve hayvan bakıcısı, bir Apache projesi için bir referans buldum.

http://zookeeper.apache.org/doc/r3.2.2/recipes.html

http://highscalability.com/blog/2010/3/22/7-secrets-to-successfully-scaling-with-scalr-on-amazon-by-se.html

Ayrıca ben memcached kullanarak bir başvuru veya benzer bir önbellekleme gördük bir TTL ile kilitleri oluşturmak için bir yol olarak mekanizması. Bu şekilde bir ayarlama bayrak, 300 saniye TTL ve başka cron işçi çalıştırır iş. Kilidi otomatik olarak TTL sonra çıkacak süresi dolmuş. Bu kavramsal YAZAR seçeneğimiz çok benzer dün görüştüler.

Ayrıca bakınız; Google tombul http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive/chubby-osdi06.pdf

Bana eğer bu yardımcı olur biliyorum, ve soru sormaya çekinmeyin edelim, biz çok hizmetlerimizi karmaşık olabilir farkında ve hem yeni başlayanlar için zor hem deneyimli geliştiriciler. Her zaman sunmaktan mutluluk duyuyoruz mimarlık ve uygulamalarla ilgili öneriler.

Saygılarımızla,

G. Amazon Web Hizmetleri Ronan

Bunu Paylaş:
  • Google+
  • E-Posta
Etiketler:

YORUMLAR

SPONSOR VİDEO

Rastgele Yazarlar

  • After Effects Tutorials w/ Mikey

    After Effect

    24 HAZİRAN 2009
  • DRDAnimation

    DRDAnimation

    28 EYLÜL 2012
  • William Sledd

    William Sled

    24 EYLÜL 2006