O‘zbekistonda fanlararo innovatsiyalar va 19- son ilmiy tadqiqotlar jurnali

 
Tahlil va natijalar. Katta hajmli ma’lumotlar uchun Hadoop tizimining tahlili
 
Katta hajmli ma’lumolarni qayta ishlash muammosini yechishda Hadoop 
tizimining paydo bo‘lishi katta qadam bo‘ldi. MapReduce freymvorkini ochiq 
realizasiyasi aniq masalalrni yechuvchi tizimni yaratilishi uchun boshqa loyihalar bilan 
yoki mustaqil ishlaydigan tizimlarni, o‘nlab loyihalarni o‘z ichiga oluvchi platforma 
rivoji uchun katta turtki bo‘ldi. Hozirda Hadoop tarkibiga katta hajmli ma’lumotlar 
bilan ishlovchi deyarli barcha instrumentlar kiradi.
 

---

O‘ZBEKISTONDA
 
FANLARARO
 
INNOVATSIYALAR

VA 
19-
SON

ILMIY
 
TADQIQOTLAR
 
JURNALI
20.05.2023
(1.1-rasmda): fayl tizimlari (HDFS, MapR-FS), taqsimlangan hisoblashlari amalga 
oshiruvchi freymvorklar (MapReduce, Spark), NoSQL bazalar va SQL-dvijkalar (HBase, 
Hive, Spark SQL), tashqi manbalardan ma’lumotlarni ushlab olish uchun va relyasion 
MBBT bilan integrasiya qilish uchun instrumentlar (Flume, Kafka, Sqoop), 
ma’lumotlarni yuklab olish va qayta ishlash oqimlarini qurish uchun instrumentlar 
(Spark Streaming, Storm, Flink, NiFi) va boshqalar.
 
 
1.1-rasm. Hadoop zamonaviy tizimi 
Tizimda instrumentlar ko‘pligidan ularning integrasiyasining samarasizlik 
muammosi paydo bo‘ladi. Bunga yechim sifatida klasterlarni taqsimlash, monitoring 
qilish va boshqarish uchun dasturiy komplekslar yechim bo‘ladi, xususan, 
Hortonworks Data Platform (HDP), Cloudera Distribution including Apache Hadoop 
(CDH), MapR Converged Data Platform. 
Distributivlar sezilarli darajada yaxshi samara berdi, biroq yangi muammo paydo 
bo‘ldi: dasturlar noto‘g‘ri ishlashi yoki umuman ishlamay qolish holatlar vujudga keldi. 
Bunga sabab komponentalarning nomutanosib versiyalari, turli instrumentlardan 
foydalanish va boshqalar. Bu muammoning yechimi standartlashtirishdir. 
Hamkorlikda turli distrubtivlarda ilovalar ishlashi natijalarini va ishlarini stabilligini 
ta’minlash bo‘yicha tavsiyalar to‘plamini ishlab chiqildi.
 
ODPi sertifikasiyasi distributivning bazaviy funksionalligini va mos kelishini 
kafolati hisoblanadi. Shunday sertifikasiyaga ega Hadoop distributivlaridan biri 
Arenadata Hadoop hisoblanadi. Uning tarkibiga Apache Hive, Apache Spark i Apache 
Atlas kabi instrumentlar kiradi (1-rasm).
 
Apache Knox istrumenti Hadoop yangi foydalanuvchilarga ruxsatni kengaytirish 
imkonini beruvchi hamda tashkilotning xavfsizlik siyosatiga mosligini qo‘llab-
quvvatlovchi xavfsizlik parametri uchun javobgar hisoblanadi. Bundan tashqari 
Apache Knox klaster ma’lumotlariga ruxsatga ega va unda o‘z vazifalarini bajaruvchi 

---