Download to read offline
More Related Content
Similar to 10 feature engineering-univ-gunadarma
10 feature engineering-univ-gunadarma
- 1. Pendahuluan Unit kompetensi iniberhubungan dengan pengetahuan, keterampilan, dan sikap kerja yang dibutuhkan dalam mengkonstruksikan data untuk proyek data science. A. Tujuan Umum Setelah mempelajari modul ini peserta latih diharapkan mampu menjelaskan data preparation mengenai feature engineering, yaitu Analisis Data Eksplorasi (EDA), dan Principal Component Analysis (PCA) menggunakan data science dan menerapkannya untuk suatu permasalahan data science. B. Tujuan Khusus Adapun tujuan mempelajari unit kompetensi melalui buku informasi Pelatihan Data Science adalah • Menganalisis data untuk mementukan representasi data awal • Menjelaskan tahapan transformasi data dan hasil dapat dituangkan dalam bentuk tertulis • Menentukan fitur mana yang paling penting dengan informasi yang saling mendukung satu sama lain. • Merekayasa fitur - Menemukan fitur baru untuk mendukung penyelesaian permasalahan dunia nyata • Melakukan analisis hasil pelabelan data • Melakukan kodefikasi kategori dengan kardinalitas tinggi (high-cardinality categoricals) dengan pendekatan encoding yang tepat • Melakukan dimensi reduksi dengan pendekatan metode analisis komponen utama (Principal Component Analysis) Latar belakang Unit kompetensi ini dinilai berdasarkan tingkat kemampuan peserta dalam memahami visualisasi dari teknologi AI. Adapun penilaian dilakukan dengan menggabungkan serangkaian metode untuk menilai kemampuan dan penerapan pengetahuan pendukung penting. Penilaian dilakukan dengan mengacu kepada Kriteria Unjuk Kerja (KUK) dan dilaksanakn di Tempat Uji Kompetensi (TUK), ruang simulasi atau workshop dengan cara: 1.1. Lisan 1.2. Wawancara 1.3. Tes tertulis 1.4. Metode lain yang relevan
- 2. Tujuan Pembelajaran A. TujuanUmum Setelah mempelajari modul ini peserta latih diharapkan mampu memahami pembelajaran mesin, penambangan data, dan data analytics mengandalkan dan dapat mengambil manfaat dari rekayasa fitur yang efektif B. Tujuan Khusus Adapun tujuan mempelajari unit kompetensi melalui buku informasi Pelatihan Data Science adalah A. Menganalisis data untuk mementukan representasi data awal B. Menjelaskan tahapan transformasi data dan hasil dapat dituangkan dalam bentuk tertulis C. Menentukan fitur mana yang paling penting dengan informasi yang saling mendukung satu sama lain. D. Merekayasa fitur - Menemukan fitur baru untuk mendukung penyelesaian permasalahan dunia nyata E. Melakukan analisis hasil pelabelan data F. Melakukan kodefikasi kategori dengan kardinalitas tinggi (high-cardinality categoricals) dengan pendekatan encoding yang tepat G. Melakukan dimensi reduksi dengan pendekatan metode analisis komponen utama (Principal Component Analysis) Deskripsi Pelatihan Materi ini berisi penjelasan Secara umum, semua pembelajaran mesin, penambangan data, dan data analytics mengandalkan dan dapat mengambil manfaat dari rekayasa fitur yang efektif. Tugas khusus meliputi klasifikasi, regresi, pengelompokan, deteksi outlier, pola/aturan, pemodelan prediktif, pembedaan dan karakterisasi kelas data, penemuan konsep, pembelajaran jarak jauh, estimasi probabilitas, konstruksi ontologi/taksonomi, pencarian informasi, intelijen bisnis, dan sebagainya Kompetensi Dasar • Mampu menganalisis data untuk mementukan representasi data awal
- 3. • Mampu menjelaskantahapan transformasi data dan hasil dapat dituangkan dalam bentuk tertulis • Mampu menentukan fitur mana yang paling penting dengan informasi yang saling mendukung satu sama lain. • Mampu merekayasa fitur - Menemukan fitur baru untuk mendukung penyelesaian permasalahan dunia nyata • Mampu melakukan analisis hasil pelabelan data • Mampu melakukan kodefikasi kategori dengan kardinalitas tinggi (high-cardinality categoricals) dengan pendekatan encoding yang tepat • Mampu melakukan dimensi reduksi dengan pendekatan metode analisis komponen utama (Principal Component Analysis) Indikator Hasil Belajar Dapat melakukan analisis data, menjelaskan tahapan transformasi data, menentukan fitur mana yang paling penting, merekayasa fitur, melakukan analisis hasil pelabelan data, melakukan kodefikasi kategori dengan kardinalitas tinggi dan melakukan dimensi reduksi dengan pendekatan metode analisis komponen utama
- 4. INFORMASI PELATIHAN Akademi ThematicAcademy Mitra Pelatihan Kementerian Komunikasi dan Informatika Tema Pelatihan Data Scientist: Artificial Intelligence untuk Dosen dan Instruktur Sertifikasi • Certificate of Attainment; • Sertifikat Kompetensi Associate Data Scientist Persyaratan Sarana Peserta/spesifikasi device Tools/media ajar yang akan digunakan Memiliki laptop/komputer dengan spesifikasi minimal : • RAM minimal 2 GB (disarankan 4 GB) • Laptop dengan 32/64-bit processor • Laptop dengan Operating System Windows 7, 8, 10, MacOS X atau Linux • Laptop dengan konektivitas WiFi dan memiliki Webcam • Akses Internet Dedicated 126 kbps per peserta per perangkat • Memiliki aplikasi Zoom • Memiliki akun Google Colab Aplikasi yang akan di gunakan selamat pelatihan • Spyder • Jupyter notebook Tim Penyusun Dr. Rer. Nat. I Made Wiryana (Universitas Gunadarma) Dr. Miftah Andriansyah (Universitas Gunadarma) Dr. Astie Darmayantie (Universitas Gunadarma)
- 5. INFORMASI PEMBELAJARAN Unit KompetensiMateri pembelajaran Kegiatan pembelajaran Durasi Pelatihan Rasio Praktek : Teori Sumber pembelajaran Dapat melakukan analisis data, menjelaskan tahapan transformasi data, menentukan fitur mana yang paling penting, merekayasa fitur, melakukan analisis hasil pelabelan data, melakukan kodefikasi kategori dengan kardinalitas tinggi dan melakukan dimensi reduksi dengan pendekatan metode analisis komponen utama Data Science Daring / Online Live Class 2 JP LMS 4 JP @ 45 menit 70:30 LMS Materi Pokok Data Science Sub Materi Pokok • Prolog • Feature vs Feature Engineering • Fase Feature Engineering o Feature Understanding o Feature transformation
- 6. o Feature generation oFeature selection o Feature analysis and evaluation • Case Study
- 7. MATERI PELATIHAN 1. Prolog MengapaRekayasa Fitur Penting? Ilmuwan data dan insinyur pembelajaran mesin sering mengumpulkan data untuk memecahkan masalah kehidupan nyata. Insinyur ini memiliki pekerjaan unik dalam merancang pipa dan arsitektur yang dirancang untuk menangani dan mengubah data mentah menjadi sesuatu yang dapat digunakan oleh seluruh perusahaan, terutama ilmuwan data dan insinyur pembelajaran mesin. Gambar 1. Hasil Survey Sebuah survei yang dilakukan oleh para ilmuwan data di lapangan mengungkapkan bahwa lebih dari 80% waktu dari data scientist dihabiskan untuk mengumpulkan, membersihkan, dan mengorganisir data. Kurang dari 20% sisa waktu mereka dihabiskan untuk membangun algoritma atau model.
- 8. Gambar 2. HasilSurvey Sebuah survei yang sama juga dilakukan untuk mengetahui bagian pekerjaan mana yang dirasa kurang menyenangkan, hasilnya 77% responden mengatakan fase mengumpulkan, membersihkan, dan mengorganisir data. adalah fase yang dirasa kurang menyenangkan. “A stellar data scientist knows that preparing data is not only so important that it takes up most of their time, they also know that it is an arduous process and can be unenjoyable. Far too often, we take for granted clean data given to us by machine learning competitions and academic sources. More than 90% of data, the data that is interesting, and the most useful, exists in this raw format.” Dikutip dari: Sinan Ozdemir. “Feature Engineering Made Easy.”
- 9. Gambar 3. DataCleaning Menyiapkan data bisa menjadi pekerjaan yang tidak jelas batasannya. Persiapan memperhitungkan pengambilan data, penyimpanan data, pembersihan data, dan sebagainya. Seperti yang terlihat pada bagan yang ditunjukkan sebelumnya, sebagian kecil, tetapi masih sebagian besar waktu ilmuwan data dihabiskan untuk membersihkan dan mengatur data. Dalam proses inilah tugas terbesar dari seorang data scientist. Berikut simulasi perbedaan tahapan data cleaning dan data organizing Transformasi pembersihan sampel log server yang mencakup data dan penjelasan teks tentang apa yang terjadi di server. Perhatikan bahwa saat membersihkan, & karakter, yang merupakan karakter Unicode, diubah menjadi ampersand (&) yang lebih mudah dibaca. Fase pembersihan meninggalkan dokumen dalam format yang sama persis seperti sebelumnya. Gambar 4. Data Organizing
- 10. • Transformasi pengorganisasianterbawah jauh lebih radikal. Itu mengubah dokumen mentah menjadi struktur baris/kolom, di mana setiap baris mewakili satu tindakan yang diambil oleh server dan kolom mewakili atribut dari tindakan server. Dalam hal ini, dua atribut adalah Tanggal dan Teks. • Baik pembersihan maupun pengorganisasian termasuk dalam kategori ilmu data yang lebih besar, yang itu rekayasa fitur. Atau feature engineering • Kutipan Dari: Sinan Ozdemir. “Rekayasa Fitur Menjadi Mudah.” Buku Apel. 2. Feature vs Feature Engineering Dalam konteks machine learning, data mining, dan data analytics, sebuah fitur (feature) adalah sebuah atribut atau variabel yang digunakan untuk merepresentasikan atau mendeskripsikan sebuah aspek dari obyek tertentu. Sebagai contoh : Gambar 5. Contoh Feature Macam-macam Fitur: • Fitur informatif adalah dasar untuk analisis data. Mereka berguna untuk • menggambarkan objek yang mendasari, dan untuk membedakan dan mengkarakterisasi
- 11. • kelompok objekyang berbeda (eksplisit atau laten). Mereka juga penting untuk memproduksi • model prediksi yang akurat dan mudah dijelaskan, dan menghasilkan hasil yang baik dalam • berbagai tugas analitik data. "Fitur," "variabel," dan "atribut" sering • digunakan sebagai sinonim. • Untuk aplikasi tertentu dan titik waktu tertentu, sering kali himpunan tetap • fitur secara implisit dipilih untuk menggambarkan semua objek data yang mendasarinya; setiap objek • mengambil nilai tertentu untuk masing-masing fitur tersebut. Ini menghasilkan representasi objek data berbasis vektor fitur. • Fitur dibagi menjadi beberapa jenis fitur, antara lain kategoris, ordinal, dan numerik. Jenis fitur yang berbeda memerlukan jenis analisis yang berbeda, • karena perbedaan struktural dalam domain mereka. Feature • Fitur yang informatif merupakan fundamental dasar dari analisis data. • Fitur menggambar menggambarkan objek yang mendasari, dan untuk membedakan dan mengkarakterisasi kelompok objek yang berbeda (eksplisit atau laten). • Fitur sangat penting untuk menghasilkan model prediksi yang akurat dan mudah dijelaskan, dan menghasilkan hasil yang baik dalam berbagai tugas analitik data.
- 12. Gambar 6. KomponenFitur 2.1 Mengerti hal mendasar tentang feature: Gambar 7. Atribut, Data Observasi a. Setiap baris data, atau dikenal sebagai observasi, mewakili satu contoh/contoh masalah. Jika data kami termasuk dalam domain perdagangan hari di pasar saham, pengamatan mungkin mewakili perubahan satu jam di pasar dan harga secara keseluruhan. b. Dalam contoh berikut untuk kasus network security Setiap baris berisi data dateTime, protocol, urgentm malicious.
- 13. Gambar 8. Atribut,Data Observasi c. Kita akan menganggap data sebagai table. d. Anda juga dapat melihat contoh spesifik di mana matriks data hanya memiliki satu kolom/atribut. Misalnya, jika kita sedang membangun sebuah perangkat lunak yang mampu mengambil satu gambar dari sebuah ruangan dan menampilkan apakah ada manusia di ruangan itu atau tidak. Data untuk input dapat direpresentasikan sebagai matriks satu kolom di mana kolom tunggal hanyalah URL ke foto sebuah ruangan dan tidak ada yang lain. e. Misalnya, mengingat tabel tabel berikut yang hanya memiliki satu kolom berjudul, URL Foto. Nilai tabel adalah URL (ini palsu dan tidak mengarah ke mana pun dan murni misalnya) foto yang relevan f. Data yang diinput ke sistem mungkin hanya satu kolom, seperti dalam kasus ini. Dalam kemampuan kami untuk membuat sistem yang dapat menganalisis gambar, masukannya mungkin hanya berupa URL ke gambar yang dimaksud. Kehendak kita sebagai ilmuwan data untuk merekayasa fitur dari URL. g. Sebagai ilmuwan data, kita harus siap untuk mencerna dan menangani data yang mungkin besar, kecil, lebar, sempit (dalam hal atribut), jarang dalam penyelesaian (mungkin ada nilai yang hilang), dan siap untuk memanfaatkan data ini untuk tujuan pembelajaran mesin. Sekarang saat yang tepat untuk berbicara lebih banyak tentang itu. Algoritme pembelajaran mesin termasuk dalam kelas algoritme yang ditentukan oleh kemampuannya untuk mengekstrak dan mengeksploitasi pola dalam data untuk menyelesaikan tugas berdasarkan data pelatihan historis. 2.3 Kesimpulan Feature: • Untuk aplikasi tertentu dan dengan domain waktu tertentu, seringkali sekumpulan fitur tetap dipilih secara implisit untuk menggambarkan semua objek data yang mendasarinya; setiap objek mengambil nilai tertentu untuk masing- masing fitur tersebut. • Hal ini menghasilkan representasi berbasis vektor fitur dari objek data.
- 14. • Fitur dibagimenjadi beberapa jenis fitur, antara lain kategoris, ordinal, dan numerik. • Jenis fitur yang berbeda memerlukan jenis analisis yang berbeda, karena perbedaan struktural dalam domainnya. 2.4 Beberapa jenis fitur, antara lain • Kategori Fitur berjenis kategori biasanya merupakan sebuah himpunan yang berisi nilai diskrit. Sebagai contoh warna merupakan sebuah fitur berjenis kategori yang dapat memiliki nilai {hitam, biru, kuning, cokelat, merah} Contoh lainnya adalah nilai binary, yang mana fitur tersebut hanya dapat memiliki salah satu dari dua nilai yaitu 0 atau 1. • Ordinal, Contoh fitur ordinal adalah Degree dimana berisi {Bachelorm Master, PhD} dimana ketiga value tersebut di urutkan sebagai berikut Bachelor < Master < PhD • Numerik. Fitur jenis ini berisi himpunan nilai numerik. Jenis fitur ini juga sering disebut sebagai fitur quantitative atau continuous. Sebagai contoh: sebuah fitur umur adalah sebuah fitur berjenis numerik dimana merupakan sebuah himpunan nilai integer antara 0 dan 150. • Rasio. Pemahaman Anda mengenai jenis fitur yang ada sangat penting karena setiap jenis fitur tertentu memerlukan pendekatan analisis yang berbeda, karena perbedaan struktural dalam domainnya. • Dalam banyak aplikasi, fitur kategori direpresentasikan sebagai nilai numerik. • Untuk itu, kita perlu berhati-hati dalam merepresentasikan nilai tersebut, karena jika tidak hasil analisis yang diperlukan dalam kasus-kasus seperti urutan yang tersirat oleh nilai numerik biasanya tidak berarti jika pendekatan analisis yang digunakan tidak sesuai.
- 15. • Dalam bahasaR variabel kategori diperlakukan sebagai faktor. • Pendekatan ”one-hot encoding" sering digunakan untuk mengubah fitur dengan jenis ini. Kegunaan (the usefulness / the importance ) dari sebuah fitur dapat diukur dengan signifikan pengaruh fitur tersebur kepada hasil analitik data yang dihasilkan. Misalnya, dalam klasifikasi ini sebagian besar dalam hal peningkatan akurasi klasifikasi. Kemudahan pemahaman dan interpretasi dari fitur juga dapat digunakan sebagai salah satu tolak ukur yang digunakan. Gambar 9. Feature 2.5 Feature Engineering “Feature engineering is the process of transforming data into features that better represent the underlying problem, resulting in improved machine learning performance.” Excerpt From: Sinan Ozdemir. “Feature Engineering Made Easy.”
- 16. Gambar 10. FeatureEngineering • Feature Understanding Memahami data dan domain permasalahan dengan informasi kualitatif dan kuantitatif yang dimiliki • Feature Improvement Membersihkan data, mengisi nilai yang kosong, mentransformasikan data yang tidak tersturktur, dan normalisasi data • Feature Transformation Pembentukan fitur baru dari fitur yang ada; ini sering dicapai dengan menggunakan pemetaan matematika. • Feature Generation / Construction Menghasilkan fitur baru yang seringkali tidak hasil transformasi fitur. Misalnya, Anda tidak mengambil piksel dalam gambar sebagai fitur, melainkan mengekstraksi hasil pemrosesan sebuah operasi misalnya hasil konvolusi untuk region tertentu yang menghasilkan fitur baru untuk gambar. Selain itu, kita juga dapat mengatakan bahwa fitur didefinisikan dari pola/teksture salah satu hasil
- 17. dari feature generation.Banyak cara khusus domain untuk mendefinisikan fitur juga termasuk dalam kategori pembuatan fitur. Kadang-kadang ekstraksi fitur istilah digunakan untuk generasi fitur. • Feature Selection adalah tentang memilih satu set kecil fitur dari yang sangat kumpulan fitur yang besar. Ukuran kumpulan fitur yang dikurangi membuatnya layak secara komputasi untuk menggunakan algoritma tertentu. Pemilihan fitur juga dapat menyebabkan peningkatan kualitas pada hasil dari algoritma tersebut. • Feature Analysis adalah tentang konsep, metode, dan ukuran untuk mengevaluasi kegunaan fitur dan set fitur. Feature analysis juga sering dimasukkan sebagai salah bagian dari seleksi fitur. • General Automatic Feature Metodologi rekayasa fitur otomatis umum adalah tentang pendekatan generik untuk secara otomatis menghasilkan sejumlah besar fitur dan memilih subset yang efektif dari fitur yang dihasilkan. 3. Feature Understanding 3.1 Tipe Data : Structured vs Unstructured • Structured data. Data jenis ini biasanya berbentuk tabular, dimana baris merepresentasikan data observasi dan kolom merepresentasikan atribut atau fitur. • Unstructured data. Data yang ada sebagai entitas yang mengalir bebas dan tidak mengikuti hierarki organisasi standar seperti tabularitas. Seringkali, data tidak terstruktur tampak bagi kami sebagai data blob, atau sebagai satu karakteristik (kolom).
- 18. 3.2 Tipe Data:Qualitative vs Quantitative • Qualitative. Data yang memiliki sifat kategorikal. Mendeskripsikan kulitas dari sebuah obyek tertentu. • Quantitative. Data yang umumnya bersifat numerik. Mendeskripsikan kuantitas dari sebuah obyek tertentu. 3.3 Exploratory Data Analysis Analisis Data Eksplorasi (EDA) adalah pendekatan/filosofi untuk analisis data yang menggunakan berbagai teknik (kebanyakan grafis) untuk: • memaksimalkan wawasan ke dalam kumpulan data; • mengungkap struktur yang mendasarinya; • ekstrak variabel penting; • mendeteksi outlier dan anomali; • menguji asumsi yang mendasarinya; • mengembangkan model pelit; dan • menentukan pengaturan faktor yang optimal. 4. Analisis Data Eksplorasi (EDA) EDA merupakan salah satu dari tigak teknik pendekatan analisis data yang ada. Ketiga pendekatan tersebut mempunyai kemiripan, semuanya dimulai dari teori atau permasalahan umum dan diakhiri dengan suatu kesimpulan. Perbedaannya terletak pada urutan dan fokus dari langkah-langkah perantara. Analisis klasik, urutannya: Masalah → Data → Model → Analisis → Kesimpulan EDA, urutannya: Masalah → Data → Analisis → Model → Kesimpulan
- 19. Bayesian, urutannya: Masalah →Data → Model → Distribusi Prior/bersyarat → Analisis → Kesimpulan Gambar 11. ADE Analisis Data Eksplorasi mengacu pada proses kritis dalam melakukan penyelidikan awal pada data untuk menemukan pola, menemukan anomali, menguji hipotesis, dan memeriksa asumsi dengan bantuan statistik ringkasan dan representasi grafis. Analisis Data Eksplorafit (ADE) merupakan suatu alat menganalisis yang berguna untuk melihat pola suatu data segingga dapat mengetahui berapa informasi awal terkait dengan data tersebut, yang artinya akan berguna untuk melakukan pengujian pada data tersebut dengan model statistik inferensial (Kurniawan, Sohibien, and Rahani 2019). Exploratory Data Analysis (EDA) adalah bagian dari proses data science. EDA menjadi sangat penting sebelum melakukan feature engineering dan modeling karena dalam tahap ini kita harus memahami datanya terlebih dahulu. Dalam artikel ini penulis menggunakan dataset house price dari Kaggle. • Proses Data Science: • Data Preparation • Data Cleansing • Exploratory Data Analysis • Feature Engineering • Modeling • Evaluation • Deployment
- 20. Exploratory Data Analysismemungkinkan analyst memahami isi data yang digunakan, mulai dari distribusi, frekuensi, korelasi dan lainnya. Dalam prakteknya, curiousity sangat penting dalam proses ini, pemahaman konteks data juga diperhatikan, karena akan menjawab masalah masalah dasar. Pada umumnya EDA dilakukan dengan beberapa cara: • Univariat Analysis — analisis deskriptif dengan satu variabel. • Bivariat Analysis — analisis relasi dengan dua variabel yang biasanya dengan target variabel. • Multivariat Analysis — analisis yang menggunakan lebih dari atau sama dengan tiga variabel (Chandra 2019). Sebagian besar teknik EDA bersifat grafis dengan beberapa teknik kuantitatif. Alasan ketergantungan yang tinggi pada grafik adalah bahwa pada dasarnya peran utama EDA adalah untuk mengeksplorasi data secara terbuka, dan grafik memberikan para gambaran yang lebih jelas mengenai informasi dari data sehingga dapat memberikan beberapa wawasan baru, yang seringkali tidak terduga, tentang data. Terutama dalam memahami kombinasi dengan kemampuan pengenalan pola data yang kita miliki. 5. Principal Component Analysis (PCA) PCA merupakan metode pengurangan dimensi menggunakan teknik statistik non- parametrik, tidak terawasi, yang sering digunakan untuk mengurangi dimensi kumpulan data besar, dengan mengubah kumpulan variabel besar menjadi lebih kecil yang masih berisi sebagian besar informasi dalam kumpulan besar. Metode PCA Ini telah banyak digunakan di bidang pengenalan pola dan pemrosesan sinyal dan merupakan metode statistik di bawah judul analisis faktor yang luas. Tujuan PCA adalah untuk : 1. Mengekstrak informasi terpenting dari tabel data; 2. kompres ukuran kumpulan data dengan hanya menyimpan informasi penting ini;
- 21. 3. menyederhanakan deskripsikumpulan data; dan 4. Menganalisis struktur observasi dan variabelnya. 5. Kompres data, dengan mengurangi jumlah dimensi, tanpa banyak kehilangan informasi. 6. Teknik ini digunakan dalam kompresi gambar Untuk menganalisis data dengan Analisis Komponen Utama kita harus teliti dalam statistik dan aljabar matriks (Mishra et al. 2017). PCA adalah alat yang sangat fleksibel dan memungkinkan analisis kumpulan data yang mungkin berisi, misalnya, multikolinearitas, nilai yang hilang, data kategoris, dan pengukuran yang tidak tepat. Tujuannya adalah untuk mengekstrak informasi penting dari data dan untuk mengekspresikan informasi ini sebagai satu set indeks ringkasan yang disebut komponen utama. Secara statistik, PCA menemukan garis, bidang, dan bidang hiper dalam ruang dimensi-K yang mendekati data sebaik mungkin dalam arti kuadrat terkecil. Garis atau bidang yang merupakan aproksimasi kuadrat terkecil dari sekumpulan titik data membuat varians koordinat pada garis atau bidang sebesar mungkin. Gambar 12. PCA
- 22. Pada Gambar 12menunjukan, PCA membuat visualisasi data yang meminimalkan varians residual dalam arti kuadrat terkecil dan memaksimalkan varians koordinat proyeksi. 5.1 Cara kerja PCA Pertimbangkan matriks X dengan N baris (alias "pengamatan") dan K kolom (alias "variabel"). Untuk matriks ini, kami membangun ruang variabel dengan dimensi sebanyak variabel yang ada (lihat gambar di bawah). Setiap variabel mewakili satu sumbu koordinat. Untuk setiap variabel, panjangnya telah distandarisasi menurut kriteria penskalaan, biasanya dengan penskalaan ke varians unit. Anda dapat menemukan detail lebih lanjut tentang penskalaan ke varians unit di posting blog sebelumnya. Principal Component Analysis (PCA) adalah sebuah metode yang sering digunakan untuk pengurangan dimensi dalam pembelajaran mesin. Dimensi tinggi berarti bahwa dataset memiliki sejumlah besar fitur. Komponen utama pertama Setelah pemusatan rata-rata dan penskalaan ke varians unit, kumpulan data siap untuk perhitungan indeks ringkasan pertama, komponen utama pertama (PC1). Komponen ini adalah garis dalam ruang variabel K-dimensi yang paling mendekati data dalam arti kuadrat terkecil. Garis ini melewati titik rata-rata. Setiap pengamatan (titik kuning) sekarang dapat diproyeksikan ke garis ini untuk mendapatkan nilai koordinat di sepanjang garis PC. Nilai koordinat baru ini juga dikenal sebagai skor.
- 23. Gambar 13. PC1 Padagambar 13, menjelaskan Komponen utama pertama (PC1) adalah garis yang paling sesuai untuk bentuk gerombolan titik. Ini mewakili arah varians maksimum dalam data. Setiap pengamatan (titik kuning) dapat diproyeksikan ke garis ini untuk mendapatkan nilai koordinat di sepanjang garis PC. Nilai ini dikenal sebagai skor. Komponen utama kedua Biasanya, satu indeks ringkasan atau komponen utama tidak cukup untuk memodelkan variasi sistematis dari kumpulan data. Dengan demikian, indeks ringkasan kedua – komponen utama kedua (PC2) – dihitung. PC kedua juga diwakili oleh garis dalam ruang variabel K-dimensi, yang ortogonal terhadap PC pertama. Garis ini juga melewati titik rata-rata, dan meningkatkan aproksimasi data-X sebanyak mungkin. Gambar 14. PC2
- 24. Pada gambar 14,menunjukan Komponen utama kedua (PC2) diorientasikan sedemikian rupa sehingga mencerminkan sumber variasi terbesar kedua dalam data sambil ortogonal ke PC pertama. PC2 juga melewati titik rata-rata. Dua komponen utama menentukan bidang model Ketika dua komponen utama telah diturunkan, mereka bersama-sama mendefinisikan tempat, jendela ke dalam ruang variabel K-dimensi. Dengan memproyeksikan semua pengamatan ke sub-ruang dimensi rendah dan memplot hasilnya, dimungkinkan untuk memvisualisasikan struktur kumpulan data yang diselidiki. Nilai koordinat dari pengamatan pada bidang ini disebut skor, dan karenanya plot dari konfigurasi yang diproyeksikan seperti itu dikenal sebagai plot skor. Gambar 15. PC1 dan PC2 Pada gambar 15, menunjukan Dua PC membentuk pesawat. Bidang ini adalah jendela ke ruang multidimensi, yang dapat divisualisasikan secara grafis. Setiap pengamatan dapat diproyeksikan ke bidang ini, memberikan skor untuk masing-masing. Kelebihan PCA • Model juga menjadi lebih efisien karena set fitur yang dikurangi meningkatkan kecepatan pembelajaran dan mengurangi biaya komputasi dengan menghapus fitur yang berlebihan.
- 25. • PCA mengidentifikasidaftar sumbu utama (principal axes) untuk menggambarkan kumpulan data yang mendasarinya sebelum memeringkatnya sesuai dengan jumlah varians yang ditangkap oleh masing-masing sumbu. • PCA adalah algoritma pembelajaran tanpa pengawasan karena arah komponen ini dihitung murni dari set fitur penjelas tanpa referensi ke variabel respons. • Normalisasikan data PCA digunakan untuk mengidentifikasi komponen dengan varians maksimum, dan kontribusi setiap variabel untuk komponen didasarkan pada besarnya varians. Ini adalah praktik terbaik untuk menormalkan data sebelum melakukan PCA karena data yang tidak diskalakan dengan unit pengukuran yang berbeda dapat mendistorsi perbandingan relatif varians di seluruh fitur. • Membuat matriks kovarians untuk dekomposisi Eigen Cara yang berguna untuk mendapatkan semua kemungkinan hubungan antara semua dimensi yang berbeda adalah dengan menghitung kovarians di antara mereka semua dan menempatkannya dalam matriks kovarians yang mewakili hubungan ini dalam data. Memahami persentase kumulatif varians yang ditangkap oleh setiap komponen utama merupakan bagian integral dari pengurangan set fitur. Apakah PCA merupakan teknik yang memadai? • Jika objective dari analisa data adalah membangun kombinasi linear yang tidak saling berkorelasi maka keputusan apakah PCA cukup baik digunakan atau tidak tergantung pada apakah hasil dari PCA ini dapat diinterpretasikan atau tidak. Bila hasil dari PCA tidak dapat diinterpretasikan, maka penggunakan PCA tid k d ti d b ik dihi d i tidak ada artinya dan sebaiknya dihindari. • Jika objective dari analisa data adalah untuk mengurangi jumlah variable (principle component) yang merupakan kombinasi linear dari variable-variable asli maka jumlah variable asli, maka jumlah principle component harus kurang dari jumlah variable asli. Dalam kasus seperti ini, PCA hanya boleh dilakukan bila data dapat direpresentasikan dalam beberapa buah principle component tanpa menghilangkan informasi secara substansial (without a substantial loss of information).
- 26. Tugas Dan ProyekPelatihan Silahkan mengerjakan Quiz Modul 10 pada LMS Kominfo. Link Referensi Modul Pertama 1. Ozdemir, Sinan Susarla, Divya - Feature engineering made easy identify unique features from your dataset in order to build powerful machine learning systems (2018, Packt Publishing) 2. Dong, Guozhu, Liu, H. - Feature Engineering For Machine Learning and Data Analytics 3. Chandra, Andreas. 2019. Memahami Data Dengan Exploratory Data Analysis. https://medium.com/data-folks-indonesia/memahami-data-dengan-exploratory-data-analysis- a53b230cce84. 4. Kurniawan, Robert, Gama Putra Danu Sohibien, and Rini Rahani. 2019. Cara Mudah Belajar Statistik Analisis Data & Eksplorasi. 1st Editio. Kencana. https://books.google.co.id/books?hl=en&lr=&id=zFgCEAAAQBAJ&oi=fnd&pg=PP1&dq=Analisis+Data +Eksplorasi+(EDA)+pdf&ots=9X620ivw_N&sig=YC4P5- X9awyHkfQ3UUntOv0oTcU&redir_esc=y#v=onepage&q&f=false. 5. Mishra, Sidharth Prasad et al. 2017. “Multivariate Statistical Data Analysis- Principal Component Analysis (PCA).” International Journal of Livestock Research 7(5): 60–78. 6. https://towardsdatascience.com/exploratory-data-analysis-8fc1cb20fd15 7. https://www.sartorius.com/en/knowledge/science-snippets/what-is-principal-component-analysis- pca-and-how-it-is-used-507186 Link Pertanyaan Modul Petama Bahan Tayang Power Point
- 27. Link room Pelatihandan Jadwal live sesi bersama instruktur Zoom Penilaian Komposisi penilaian Tugas Data Science : Nilai 100 Target Penyelesaian Modul Pertama 1 hari / sampai 6 JP