menu

Benang dan mrv2: New inkarnasi baru!

, MapReduce 2.0 (mrv2 atau (untuk fans seperti saya atau CDH4, Clouder pada) 23 dan sekarang kita katakan: Seperti yang Anda semua tahu,

, MapReduce Hadoop-12 telah mengalami perombakan total hanya MR2) atau subjek. Anda mungkin telah membaca banyak tentang hal yang sama, dan aku tidak akan menjelaskan semua di sini lagi. Tapi itu semua lagi

Aku merasa itu akan berguna bagi

. Penuaan MapReduce

CDH4 mereka ada perbedaan besar, tidak ada JobTracker dan TaskTracker (aku benar-benar miss u guyz!). Sebaliknya JobTracker kosong dan TaskTracker, kita sekarang kita memiliki apa yang kita sebut hidup dan MR2. Apa sebenarnya disebabkan perbaikan besar-besaran ini? Semua MapReduce pekerjaan kami dan mengurus semua yang dingin dan TaskTracker JobTracker memiliki apa? Ini adalah pertanyaan saya hadapi kepalaku. Untuk menjawab pertanyaan tersebut, maka, 2 Quad Core Ketika Anda menjalankan prosesor Xeon dengan kelompok yang masing-masing node lebih dari 4000 node yang JobTracker dan tasktrackers akan menemukan bahwa, Anda perlu sedikit riset @ 2.5GHz dan memiliki kapasitas lebih dari kelompok 16PB. ! Hal ini dimaksudkan untuk mencerna sepotong

Bahkan, Yahoo mengerang dan sebelum ia datang dari tahun 2008 dan membuka Jira dalam hasil; mrv2. Jiri https://issues.apache.org/jira/browse/mapreduce-279 tempat itu sendiri dibacakan untuk lebih jelasnya. Gejala utama adalah karena kembali ke jaringan digit kelompok 4000 kecelakaan, yang sangat tidak terduga sifat node (http://issues.apache.org/jira/browse/hadoop-572) dan kemudian dikirim melalui jaringan skala luar banjir dan tasktrackers dihasilkan menembak, dan sumber daya memori / konsumsi CPU berfungsi -calls menggunakan …

Struktur baru mengambil beberapa perbaikan bug tetapi MapReduce Itu sebabnya Anda perlu benang hasil materialisasi resmi menunjukkan bahwa usia.

Jadi apa sebenarnya serat?

Yang pasti, benang “lagi-Sumber deliberatif” berarti. Ya, dia adalah kata-kata cukup jelas. Negosiator sumber ini, kelompok dan Task Scheduler adalah sumber global untuk negosiator. Lebih, itu adalah kerangka kerja yang memungkinkan kita untuk membuat kerangka kerja untuk pemrosesan terdistribusi dan aplikasi terdistribusi. Jadi apa partikel CDH4 disebut MapReduce memiliki mrv2 atau MR2 adalah kerangka yang dibangun di atas.

Ya, kerangka dasar yang memberikan kita dengan keterampilan yang diperlukan untuk hidup mrv2 membangun dan mengelola sumber daya aplikasi. Jadi kita tidak hanya MapReduce terbatas, kita dapat mengembangkan aplikasi yang tidak memenuhi model MapReduce.

OK, kemudian benang dan teori MR2 berbeda, sehingga MR2 benar-benar jelas? Jika Anda sudah familiar dengan JobTracker dan tasktrackers

, Anda tahu, untuk mengatur pekerjaan MapReduce ke daerah ini dan untuk memantau jadwal kerja dan JobTracker

adalah. Apache Hadoop terjadi dalam hidup, kita harus merencanakan dan mengelola JobTracker Negeri, dan tidak boleh tugas carryout tasktrackers. Kode MR1 telah ditulis ulang untuk berjalan di atas benang dasar, dan kemudian kita memiliki apa yang kita sebut MR2.

Sejauh ini, kita

  • global atau Resource Manager
  • Sebuah node slave adalah nodemanag & amp; berbagai macam amp; amp;
  • Sebuah aplikasi applicationmast

Lagi pula, kita akan berbicara tentang secara lebih rinci dalam beberapa hari mendatang. Seiring waktu kami memiliki POC tersebar kerang di bagasi; Aku mengawasi dan melihat set lengkap aplikasi yarn’ed MR2 …

Saya tidak tinggal Aplikasi:

http: //hadoop.apach ke. org / docs /r0.23.0/hadoop-yarn/hadoop-yarn-site/yarn.html http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapredu oleh

-nextg yang / http://blog.cloudera.com/blog/2012/02/mapreduce-2-0-in-hadoop-0-23/

Leave a Reply

Your email address will not be published. Required fields are marked *