Tutorial Pentaho - Membuat Data base werehaouse
Download as DOCX, PDF3 likes10,567 views
Dokumen ini menjelaskan langkah-langkah instalasi dan konfigurasi Pentaho untuk membuat database warehouse menggunakan MySQL, termasuk proses installasi JDK, koneksi database, dan pembuatan file transformasi serta job. Selain itu, terdapat penjelasan mengenai OLAP (Online Analytical Processing) untuk melakukan analisis data menggunakan Pentaho. Prosedur tersebut mencakup konfigurasi sumber data, integrasi tabel, dan pembuatan model analisis yang dapat disesuaikan.
Tutorial Pentaho - Membuat Data base werehaouse
- 1. TUGAS TEKNOLOGI BASIS DATA MEMBUAT DATABASE WAREHOUSE DENGAN MENGGUNAKAN PENTAHO NAMA : JAMES PHILIP MONTOLALU NRI : 13021106048 I. Instalasi PENTAHO Alat dan Bahan yang digunakan : 1. JDK versi 1.8.0.92 2. Mysql connector versi 5.1.38 3. pdi-ce-6.0.1.0-386 4. biserver-ce-6.1.0.1-196 5. MySQL Workbench 6. OS Windows 7 Langkah-langkah instalasi : 1. install JDK 2. ekstrak file biserver-ce-x.x.x.stable.tar.gz dan pdi-ce-x.x.x.stable.tar.gz dalam satu direktori misalnya pada c:pentaho 3. ekstraksi file biserver-ce-x.x.x.stable.tar.gz akan menghasilkan 2 direktori baru yaitu - biserver-ce - administration-console dan ekstraksi file pdi-ce-x.x.x.stable.tar.gz akan menghasilkan direktori data-integration 4. copy file mysql-connector-java-x.x.x-bin.jar ke direktori-direktori berikut: - ~biserver-cetomcatlib - ~data-integrationlibextJDBC 5. Atur path dari aplikasi JVM ke direktori tempat JDK diinstall (C:Program FilesJavajdk1.8.0.92.bin), jika menggunakan windows langkah-langkahnya adalah sebagai berikut: 6. - Masuk ke Control PanelAll Control Panel Items pilih System, atau dengan klik kanan pada Computer dan pilih Properties - Klik Advanced system settings, kemudian pada window System Properties klik Environment variables
- 2. - Pada window Environment variables bagian System Variables pilih variable Path kemudian klik tomboh Edit. - Pada window Edit systemvariable Masukan lokasi tempat terinstalnya JDK (C:Program FilesJavajdk1.8.0_92bin) pada input field Variable value, kemudian klik OK pada window ini dan semua window lain yang terbuka. 7. – kemudian kita buat variable baru dengan mengklik New pada bagian System Variable – ketik nama variable tersebut JAVA_HOME – lalu pada variable value , masukan lokasi tempat terinstalnya JDK (C:Program FilesJavajdk1.8.0_92) *tapi kali ini kita hilangkan “bin” nya
- 4. MENJALANKAN APLIKASI 1. Running Pentaho Data Integration Masuk ke cmd , dan masuk dan masuk ke direktory tempat pentaho data integration terinstall (C:pentaho1pdice60data-integration) dan jalankan aplikasi Spoon.bat Akan muncul Aplikasi Spoon nya 2. Running hypersonic SQL - Masuk ke direktory tempat BI Server terinstall (C:pentaho1biserver61biserver-ce) dan kemudian masuk ke direktori data (~biserver-cedata) - - Jalankan file start-hypersonic.bat
- 5. 3. Running and access BI Server - Menjalankan BI server dilakukan dengan menjalankan file start-pentaho.bat yang ada dalam direktori (~biserver-ce) - - Jika berhasil maka akan terbuka juga window seperti CMD yang berisi log dari Tomcat - - Jika BI server telah dijalankan, untuk masuk ke sistemdilakukan lewat web browser dengan mengakses ke alamat http://localhost:8080 - Username: admin - Password: password
- 6. Halaman awal localhost:8080 Halaman setelah LOG IN admin
- 7. II. INTEGRASI DATA 1. Jalan kan MySQL Server (dalam hal ini menggunakan MySQL Workbench). Berikut data sampel yang telah saya buat. 2. Jalankan hyper sonic.
- 8. TRANFORMASI: 1. buat file transformasi baru File New Transformation 2. klik tab Design, kemudian pilih folder Steps Input 3. Pada folder Input pilih Table Input, kemudian drag ke lembar transformasi yang baru.
- 9. 4. klik kanan pada step Table Input kemudian pilih Edit step untuk memunculkan window Table Input 5. Buat koneksi ke database yang menjadi sumber data dengan klik New pada bagian Connection.
- 10. 6. Pada jendela Database connection masukan Connection Name misalnya hypersonic_db, Connection Type pilih Hypersonic, pada bagian Settings masukan data-data berikut: - Host Name : localhost - Database Name: sampledata - Port Number: 9001 Jika data settings telah selesai, uji koneksi yang dibuat apakah telah berhasil atau tidak dengan klik pada tombol Test. Jika koneksi berhasil maka akan muncul tampilan window Database Connection Test seperti pada gambar berikut. Jika koneksi telah berhasil maka klik tombol OK untuk menyimpan dan kembali ke window Table Input. 7. Langkah berikutnya setelah koneksi dibuat adalah membuat pernyataan SQL untuk mengambil data yang ada dalam database sampledata di Hypersonic. Pernyataan SQL dapat dibuat secara otomatis dengan cara klik tombol Get SQL Select statement, kemudian pada window DatabaseExplorer pilih Tables,dan double klik pada tabel yang akan diambil datanya (misalnya tabel customers)
- 11. 8. Edit pernyataan SQL seperlunya , masukan Step Name (misalnya customers_hq), dan kemudian klik OK. 9. Berikutnya adalah mempersiapkan Step yang akan menjadi tujuan, klik tab Desain Output, kemudian pilih Tableoutput (karena data dari table dalamhypersonic akan disimpan kedalam tabel MySQL) drag ke file Transfomasi yang sedang digunakan. 10. Lakukan edit Step untuk step Table output seperti pada langkah 4, input field Connection klik New, dan lakukan seperti pada langkah 6 tapi pada langkah ini diperuntukkan
- 12. untuk koneksi ke DBMS MySQL. Masukan connection name (misalnya mysql_db), Hostname (localhost / ip address dari tempat server MySQL berjalan), database Name sesuai nama database yang menjadi tujuan pada MySQL (dalam contoh ini tetap menggunakan nama sampledata), User Name dan Password sesuai username dan password pada DBMS MySQL (pada contoh ini username root dan password tidak ada) 11. Masukan nama tabel yang akan menjadi tempat penyimpanan data dari tabel customer pada hypersonic pada input field Target table. Dapat dilakukan dengan cara klik Browse dan pilih tabel yang akan menjadi tujuan data pada window Database Explorer (dimpasien) 12. Masukan Step name (misalnya customers_my) kemudian klik OK. 13. Langkah selanjutnya adalah menghubungkan kedua step dengan Hop. Caranya adalah tahan tombol Shift pada keyboard kemudian klik pada Step yang merupakan sumber data (customer_hq) kemudian klik pada Step yang menjadi tujuan data (customer_my)
- 13. 14. Pada saatini migrasi data telah dapat dilakukan akan tetapi karena pada skema database tujuan diterapkan beberapa batasan(constraint) misalnyapenggunaan primary key pada tabel dengan tujuan mencegah duplikasi data. Akibatnya ketika dalam proses integrasi ditemukan ada data yang sama maka proses integrasi akan dihentikan karena akan ada pemberitahuan error dari database tujuan. Agarproses dapat berjalan terus padacontoh ini digunakan step Dummy (do nothing) yang ada pada Desain Flow Dummy (do nothing). 15. Setelah step Dummy ditambahkan dalam file transformasi buatlah Hop dari step tabel tujuan (customers_my) ke step Dummy. Pada pop up pilihan yang muncul pilih Error Handling of Step 16. Simpan file transformasi yang telah selesai dikerjakan, dan buatlah file-file transformasi yang lain untuk tabel-tabel yang lain. 17. Untuk menguji apakah transformasi yang dibuat dapat berjalan atau masih ada error, file transformasi dapat dicoba dijalankan dengan cara Untuk menjalankan file job klik menu Action Run, atau klik icon
- 14. JOB File Job berisi penjadwalan dan transformasi-transformasi yang akan dilakukan. Untuk membuat file job dapat dilakukan dengan langkah-langkah sebagai berikut: 1. Buat file job, File New Job 2. Klik tab Desain dan kemudian pilih folder General. Pilih step START dan drag ke lembar Job yang baru dibuat. 3. Step Start digunakan untuk mengatur penjadwalan untuk melakukan integrasimaupun migrasi data, untuk mengaturnya dilakukan dengan klik kanan pada step Start dan pilih Edit job entry. 4. Langkah berikutnya adalah menambahkan transformasi-transformasi yang telah dibuat sebelumnya kedalam file job. Pada tab Desain pilih folder General dan pilih step Transformation drag ke file job yang sedang dikerjakan
- 15. 5. Klik kanan pada step Transformation yang baru ditambahkan dan pilih Edit job entry 6. Pada window Job Entry details for this transformation, masukan nama job entry (Name of job entry), dan file transformasi yang telah dibuat. Misalnya untuk contoh ini - Name of job entry: CUSTOMER - Transformation filename: berisi lokasi dan nama file transformasi untuk transfomasi table customers (C:pentahoNew foldercustomers_transform.ktr). 7. Langkah selanjutnya adalah membuat hop antara step, dengan cara yang sama dengan membuat hop pada transfomasi.
- 16. 8. Lakukan langkah 4-7 untuk semua file transformasi yang telah dibuat. 9. Jika semua file transformasi telah diintegrasikan dengan file job, simpan file job yang telah dibuat dan sampai disini file job bisa dijalankan. 10. Berikut adalah contoh dari isi sebuah file job Setelah membuat file tranformasi yang lainnya, hasil file transformasi tersebut telah membuat 1 file job III. OLAP (ANALYSIS VIEW) 1. Jalankan MySQL 2. Jalankan Pentaho BI Server 3. Dari browser masukan alamat url berikut: localhost:8080 4. Pada tampilan login Pentaho masukkan User Name: admin Password: password
- 17. 4. Pada tampilan home di bagian Data source pilih Create New 6. Pada jendela Data Source Wizard masukan nama dari data source yang akan dibuat, dan pilih Source type Database Table(s) 7. Dengan memilih Source type Database Table(s), kita akan dituntun untuk membuat koneksi ke basis data, berikut ini adalah konfigurasi untuk koneksi ke basis data sampledata pada DBMS MySQL. Tombol Test digunakan untuk menguji koneks yang dibuat telah berhasil atau tidak . jika
- 18. koneksi telah berhasil silahkan tekan tombol OK untuk kembali ke window Data Source Wizard. 8. Kembali pada window Datasource wizard, isi nama data source pada input field Data source Name, dan pilih koneksi yang baru dibuat. Pada bagian Create Data Source for pilih Reporting and analysis(requires star schema), setelah itu klik Next 9. Langkah berikutnya adalah pemilihan tabel yang akan digunakan dalam analysis, dan penentuan tabel yang menjadi Fact Table. Klik next untuk lanjut ke tahap berikutnya. 10. Tahap berikutnya adalah mendefinisikan hubungan antar tabel, tabel yang disebelah kiri dihubungkan dengan tabel disebelah kanan, hubungan antar tabel ditetapkan dengan melihat kolom-kolom yang berhubungan, misalnya kolom ORDERNUMBER dari tabel orderfact berhubungan dengan kolom ORDERNUMBER dari tabel orders. Pilih tabel yang akan dihubungkan, pilih kolom yang merupakan penghubung antara kedua tabel dan kemudian klik Create Join. Lakukan langkah ini sampai seluruh tabel yang dipilih pada langkah 9 terhubung. 11. Setelah semua tabel yang dipilih pada langkah 9 terhubung klik Finish. Dan pada window Data Source Created, pilih Customize model now.
- 19. 12. Pada tahapan-tahapan selanjutnya adalah tahap-tahap untuk melakukan design model yang akan digunakan dalam analisis. Pada tahap ini akan dilakukan penetapan apa saja yang menjadi Measure, Dimensi, hirarki beserta Level hirarkinya. Wizard dari Pentaho telah menggenerate secara otomatis model yang dapat digunakan untuk melakukan analisis, akan tetapi dari model yang digenerate masih perlu dilakukan kustomisasi dengan menghapus measure-measure, dimensi maupun level-level yang tidak perlu. Gambar berikut ini menunjukkan contoh- contohnya. Dari gambar dapat dilihat bahwa wizard menetapkan 5 measure tapi measure yang sebenarnya hanya ada 2 yaitu QUANTITYORDERED DAN TOTALPRICE, dimana QUANTITYORDERED merupakan informasi jumlah barang yang terjual, dan TOTALPRICE merupakan informasi nilai uang yang diperoleh dari hasil penjualan barang (QUANTITY ORDERED X PRICEEACH). CUSTOMERNUMBERED dan ORDEREDNUMBERED bukan merupakan measure tapi merupakan identitas dari sebuah record, sedangkan PRICEEACHmenunjukan nilai atau harga dari setiap item barang, dengan demikian tidak dapat dilakukan fungsi-fungsi agregrasi (sum,average,count,dll) pada ketiga informasi ini. Untuk itu 3 informasi ini yang bukan merupakan measure harus dihapus. Untuk menghapus dilakukan dengan memilih field (measure,dimensi,hirarki,level) yang akan dihapus dan klik icon removes selected field 13. Langkah-langkah berikutnya adalah membuat analisis view dari model yang telah dibuat. 14. Kembali pada halaman home dari pentaho, kemudian klik New JPivot 15. Pada window New JPivot View pilih nama data source yang telah kita buat (tugasTBD) untuk Schema dan Cube kemudian klik OK.
- 20. 16. Berikutnya pentaho akan membuat tampilan analisis view dari data source yang kita buat. Analisis view default yang dibuat oleh pentaho kebanyakan tidak sesuai dengan analisis yang kita inginkan karena itu perlu dilakukan modifikasi yang sesuai. Untuk merubah measures, dan dimensi-dimensi olap yang akan ditampilkan dapat dilakukan dengan melalui OLAP Navigator . Icon-icon untuk menetapkan posisi dari field measure dan dimensi Misalnyauntuk merubah kolom measure dari QUANTITYORDEREDke TOTALPRICEadalahsebagai berikut: Klik Icon OLAP Navigator, kemudian klik Measures. Beri tanda centang pada TOTALPRICE, dan hapus tanda centang pada QUANTITYORDERED. Klik OK untuk menyimpan.
- 21. Untuk menetapkan posisi dimensi pada tabel sebagai kolom atau baris, atau tidak ditampilkan(filtered) dilakukan dengan klik pada icon-icon yang ada disamping nama-nama field. Berikut adalah contoh dari perubahan konfigurasi dari konfigurasi default pentaho. 17. Berikut ini adalah tabel slicerhasilperubahan yang dibuat. dari tabel slicerinidapat dilakukan operasi-operasi OLAP seperti drill up, drill down dengan mengaktifkan icon drill member/drill position , untuk operasi drill up dan drill dengan klik pada icon dan pada tabel slicer. Icon drill replace digunakan untuk menghilangkan kolom atau baris misalnya jika kolom All Products ingin dihilangkan dilakukan dengan mengaktifkan icon drill replace kemudian klik pada icon yang ada pada kolom All Products. Icon drill trough untuk melihat informasi yang lebih detail yang tidak ditampilkan pada tabel slicer, berikut adalah contoh penerapan fungsi drill trough. Dengan klik pada icon yang ada disamping total price dari GARISPRODUK Classic Cars dan YEAR ID 2003 (1514415) dihasilkan informasi detail sebagai berikut: 18. Jika ingin menampilkan analisis dalam bentuk grafik/chart dilakukan dengan klik pada icon
- 22. Untuk merubah bentuk chart dilakukan dengan klik pada icon chart config
- 23. 19. Jika analisis viewtelahselesaidimodifikasi,analisis viewdapatdisimpan dengan cara klik pada icon save atau Save Ass. Pada versi ini tidak dimungkinkan untuk disimpan pada direktori/folder yang dibuat sendiri, sehingga untuk analisis view disarankan disimpan dalam folder /home 20. Untuk membuka file analisis view yang telah dibuat dilakukan dengan cara. Pada tampilan Home Pentaho masuk ke bagian Browse yang ada disisi sebelah kiri, pilih folder BI Developer Examples Analysis, kemudian lihat bagian files yang ada dibawahnya double klik pada file analisis yang telah kita buat. SELESAI.