KUALITAS DATA ~ DATAWAREHOUSE

Berikut ini saya akan menjelaskan apa itu Kualitas Data, yuk simakkk... ;))

KUALITAS DATA SANGAT PENTING?

1. Meningkatkan percayaan diri dalam pengambilan keputusan

2.Memperbaiki pelayanan kpd Customer

3.Meningkatkan kesempatan memperbaiki kinerja,

4.Mengurangi resiko dari keputusan yang berbahaya,

5.Mengurangi biaya, terutama untuk pemasaran,

6.Mengembangkan strategi untuk pembuatan keputusan,

7.Meningkatkan produktivitas dengan memangkas beberapa proses

8.Menghindari efek komplikasi dari data yang terkontaminasi

Akurasi Vs Kualitas :

AKURASI	KUALITAS
1. Sesuai entitasnya               2. Elemen data Didefinisikan                  menggunakan  Database Teknologi                3. Elemen data menyesuaikan dgn                      batasan  tervalidasi                 4. Masing2 data memiliki tipe data yg                  sesuai Operasional Database	1. Sesuai Kegunaan n                          2. Sesuai dengan representasi Bisnis                3. Terhubung tidak hanya dalam satu data                tapi keseluruhan sistem                 4. Form dan data konsisten terhadap                      keseluruhan sistem Datawarehouse

Indikator Data Berkualitas

1. ACCURACY = data yang tersimpan nilainya benar (name cocok dengan alamatnya)

2. DOMAIN INTEGRITY = nilai attributnya sesuai batasan yang diperkenankan (nilai attribut laki n                                      perempuan)

3.DATA TYPE = Nilai data disimpan dalam tipe data yang sesuai (data nama disimpan dengan tipe text

4.CONSISTENCY = nilai sebuah field data akan sama semua dalam berbagai berkas (field produk A 

                              dgn kode 123, akan selalu sama kodenya di setiap berkas lain)

5.REDUDANCY = tidak boleh ada data yang sama disimpan di tempat yang berbeda dalam satu sistem

6.COMPLETENESS = Tidak ada nilai atttribut salah yang diberikan dalam sistem

7.DUPLICATION = tidak ada baris record yang sama dalam satu sistem

8.CONFORMANCE TO BUSINESS RULES = sesuai dengan aturan bisnis yang berlaku (di bank è  

                              loan balance = + or 0)

9.STRUCTURAL DEFINITENESS = dapat didefinisikan strukturnya (nama = firstname + middlename + 

                                                       lastname 

10.DATA ANOMALY = sebuah field hanya digunakan sesuai kegunaannya. (field address3 è 

                                   digunakan untuk mencatat baris ketiga dalam alamat bukan untuk telp atau fax)

11. CLARITY = Kejelasan arti kegunaan dan cara penulisan sebuah data (penamaan khusus)

12.TIMELY = merepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka 

                      data pada warehaouse harus juga dibuat per hari)

Macam permasalahan dalam menjaga kualitas data (1)

1. Dummy values in fields è (kode pos di isi 77777)

2.Absence of data values è (alamat tidak terbagi menjadi region)

3.Unofficial use of fields è (isi komentar pada customer contact filed)

4, Cryptic values. è (penyingkatan nilai yang berubah L P jadi P W) 

Referensi :

https://achmadyasid.files.wordpress.com/

Resume Pertemuan 11 - Datawarehouse

Data Transformation Service

DTS adalah memindahkan data dari database OLTP ke data warehouse dengan tujuannya. Hal ini dilakukakn ketika validasi, cleaning up, konsolidasi, dan mengubah data yang diperlukan. (Vieria, Robert, 2000, p91) atau juga bisa dibilang keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data. Transfer data yang memuat tiap kolom dari sumber data antardatabase dan mentransformasi data dari 1 format ke format yang lain dengan menggunakan ODBC, AktiveX, dan perintah SQL, atau bahkan program-program eksternal yangbisa menjadi bagian dari paket DTS tersebut merupakan cakupan dari proses dari fungsi DTS itu sendiri.

Tool-tool yang tersedia untuk menciptakan dan mengeksekusi DTS packages :

• ·         Import Export Wizzard

Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard

• ·         DTS Designer

DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.

• ·         DTS Run

DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.

• ·         DTSRunUI

DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

Connection untuk mengakses & memindahkan data :

Agar eksekusi DTS tasks dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujua. Ketika menciptakan sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB providers dan ODBC drivers. Jenis hubungan yang tersedia antara lain:

• Microsoft Data Acces Component (MDAC) drivers
• Microsoft Jet drivers
• Other drivers
• OLE DB CONNECTION

Sumber :

http://www.globalkomputer.com/Bahasan/Database/Topik/DTS.html

http://thesis.binus.ac.id/doc/Bab2/2008-1-00282-SI%20Bab%202.pdf

RESUME PERTEMUAN VII - LOGICAL & PHYSICAL DESIGN

Kali ini kita akan belajar tentang apa itu Logical Design dan Physical Design,,,,yuk simak lebih lengkapnya.... :)

LOGICAL DESIGN & PHYSICAL DESIGN

3 Tingkatan Analisis dan Desain Database :

Logical Design :

       •Memetakan conceptual schema ke struktur logis sehingga dapat diproses oleh DBMS

  •Macam-macam skema logis meliputi unsur-unsur hierarki, tabel-tabel dengan kunci utama, relasi antar tabel dan aliran data

Physical Design :

•Menggambarkan struktur dari data dalam memori sekunder

•Menggambarkan struktur penyimpanan dan metode-metode aksesnya

•Biasanya sudah tergantung pada DBMS tertentu

Perbedaannya :

Logical Design :

•   Menggunakan ER Diagram

•   Mencari objek-objek

    penting (entitas)

•   Mendefinisikan atribute

•   Membuat relasi

contoh :

Physical Design :

•Merubah dari logical design menjadi objek-objek database

•Tablespace, Table, integrity constraint, dll 

Contoh :

OLTP :

1. ERD

2. Normalisasi à Penyimpanan yang dilakukan berdasarkan aturan normalisasi data, dikelompokan berdasarkan katagori (pelanggan, produk, keuangan,dll).

•Keuntungan :

      Mudah untuk menambah informasi kedatabase.

•Kekurangan :

      Karena banyak table yang terlibat maka akan sulit bagi pengguna untuk 

      menggabungkan data dari sumber yang berbeda.

•OLAP :

1.ERD

2.DENORMALISASI adalah Proses penggabungan tabel-tabel untuk meningkatkan kecepatan dalam pengaksesan database, Menurut Sid Adelman (2000,p2444), Denormalisasi adalah suatu prosedur menyusun kembali data yang telah dinormalisasi untuk menspesifikasikan kumpulan proses sehingga membuat proses sehingga membuat proses menjadi lebih efisien. Proses denormalisasi ini sangat berlawanan dengan proses normalisasi yang bisa dilakukan dalam pendesainan database.

Source :

www.academia.edu
nyoman.dosen.narotama.ac.id

RESUME PERTEMUAN VI - DATA WAREHOUSE

Pada Peretemuan VI membahas tentang kelebihan dan kekurangan Star Schema, Snowflake Schema dan Starflake semua, dan kita akan lebih tau perbedaannya dengan melihat tabel berikut ini..yuk, simak.. ;)

Star Schema

Definisi : Skema bintang merupakan struktuk logikal yang memiliki tabel fakta yang terdiri atas data faktual ditengahnya, dan dikelilingi oleh tabel-tabel dimensi yang berisi referensi data.

Kelebihan	Kekurangan
Skema Data Warehousing yang paling sederhana sehingga mudah  dimengerti	Highly denormalized
Metadata tidak rumit	Data redundan di dimensional tabel
Low maintenance	Membutuhkan space yang besar

Snowflake Schema

Definisi : Merupakan varian dari skema bintang dimana table-table dimensi tidak terdapat data yang di denormalisasi. Dengan kata lain satu atau lebih table dimensi tidak bergabung secara langsung  kepada table fakta tapi pada table dimensi lainnya

Kelebihan	Kekurangan
Query lebih cepat karena lebih detail karena dipisahkan kebutuhannya.	Rumit dalam pemeliharaan dan metadatanya
Kinerja pemrosesan query tinggi untuk query-query yang melibatkan agregasi	Jumlah tabel dalam database membengkak

Starflake Schema

Definisi : Campuran antara Star Schema dan Snowflake Schema yang dimana tabel dimensi tidak hanya tidak hanya terdapat tabel yang dinormalisasi melainkan terdapat juga tabel dimensi yang didenormalisasi.

Kelebihan	Kekurangan
Bersifat fleksibel terhadap perubahan yang terjadi khususnya perubahan yang mengarah pada perkembangan	Susah dalam pengaturan dan support
Dapat beradaptasi terhadap kebutuhan-kebutuhan user	Rumit karena banyak varian agregasi yang harus dipertimbangkan
Memiliki kemampuan dalam memodelkan situasi bisnis secara umum	-

Source :

• http://library.binus.ac.id/eColls/eThesisdoc/Bab2HTML/2013100090SIBab2003/page37.html
• http://elib.unikom.ac.id/download.php?id=132845

Pertemuan V - Data Warehouse (TUGAS-3)

Tugas ke-3 untuk pertemuan ke-VI kali ini adalah "Mencari tabel database dan masalah, untuk diubah ke Star schema/ Snowflake Schema", berikut ini akan saya jelaskan dalam contoh tabel database dan scheme apa yang tepat untuk digunakan, yukk simakk.. :)

Analisa Masalah :

Fakultas Ilmu Komputer Universitas Sriwijaya (Fasilkom Unsri) adalah fakultas yang telah memiliki sistem informasi akademik namun di sistem tersebut masih terdapat kekurangan yakni sistem tersebut tidak terintegrasi didalam satu basisdata. Pengelolaan data akademik yang di gunakan secara online dan manual.
Contohnya hal pengelompokkan data atau sumber data yang di terima masih terkelompok dari kegiatan administrasi akademik, misalkan data mahasiswa aktif, stop out, drop out

yang masih menggunakan penyimpanan data secara terpisah, demikian juga pada pemrosesan data KRS dan KHS per semester yang diperlukan dengan membuat basisdata yang terpisah dikarenakan perubahan sistem yang lama dari angkatan 2005-2007 dengan sistem yang baru mulai dari angkatan 2008-2010. Sistem informasi akademik pada angkatan 2005-2007 menggunakan aplikasi dekstop C++ Builder, sedangkan sistem informasi akademik pada angkatan 2008-sekarang sudah online atau berbasis web dengan menggunakan RDBMS MySQL.

Scheme Yang digunakan :

Skema yang digunakan untuk pemodelan data adalah star schema dimana terdapat satu tabel fakta dan beberapa tabel dimensi. Penggunaan star schema memungkinkan proses query yang lebih ringan dan memudahkan penjelajahan terhadap data dimensinya. Tabel fakta yang terbentuk dari perancangan data warehouse ini merupakan tabel yang berhubungan dengan evaluasi kegiatan akademik mahasiswa. 

Tabel -tabel fakta yang ada dalam data warehouse ini adalah 
sebagai berikut : 

• Tabel nilaimhs_fact
Tabel ini berisi data nilai yang telah diperoleh mahasiswa yang terdiri dari mata kuliah yang dipilih, dan nilai yang diperoleh.

• Tabel hasilstudy_fact

Tabel ini berisi catatan akademik mahasiswa yang terdiri dari indeks prestasi semester (IPS), indeks prestasi Kumulatif (IPK), sistem kredit semester (SKS) yang diambil dan SKS yang sudah ditempuh pada periode tersebut. Selain itu juga disimpan data status akademik mahasiswa pada periode tersebut. 

Star Schema Nilai Mahasiswa

Star Schema Catatan Akademik

Tabel dimensi merupakan tabel yang berisi data yang menunjukkan tinjauan dari berbagai perspektif. Adanya dimensi memungkinkan pembuatan laporan dinamis yang bisa ditinjau dari berbagai perspektif sekaligus tingkat perinciannya bisa diatur.


Tabel-tabel dimensi yang ada dalam data warehouse akademik adalah sebagai berikut : 

• Tabel periode_dim  

Data yang termasuk dimensi periode adalah tahun akademik, semester (ganjil dan genap) dan perkuliahan (regular dan pendek).

Kode	Tipe	Keterangan
periode_id	char (5)	id periode (Pimary Key)
tahun_akademik	datetime	tahun akademik
semester	char (5)	semester
perkuliahan	varchar (10)	jenis perkuliahan

• Tabel mhs_dim
Data yang termasuk dalam dimensi mahasiswa adalah data pribadi seperti nim, nama, tempat lahir, tanggal lahir, alamat dan lain sebagainya.

Kode	Tipe	Keterangan
mhs_id	char (10)	id mahasiswa (Pimary Key)
nim	char (10)	nim mahasiswa
nama	varchar (20)	nama mahasiswa
angkatan	char (10)	angkatan mahasiswa
jalur	varchar (10)	jalur
tmpt_lahir	varchar (10)	tempat lahir mahasiswa
tgl_lahir	datetime	tanggal lahir mahasiswa
gender	varchar (10)	gender mahasiswa
agama	varchar (10)	agama mahasiswa
alamat	varchar (30)	alamat mahasiswa
kota	varchar (10)	kota asal
propinsi	varchar (15)	propinsi
kode_pos	char (10)	kode pos
tgl_masuk	datetime	tanggal masuk mahasiswa
tgl_lulus	datetime	tanggal lulus mahasiswa

 • Tabel prodi_dim 

Dimensi jurusan mengandung data tentang jenjang pendidikan, jurusan, dimana setiap jurusan terdiri dari satu jurusan atau lebih. Jenjang pendidikan terdiri dari D3 (Diploma III), dan S1 (Sarjana).

Kode	Tipe	Keterangan
prodi_id	char (5)	id prodi (Pimary Key)
kode_prodi	char (10)	kode prodi
nama_prodi	char (20)	nama prodi
kode_jenjang	char (5)	kode jenjang

• Tabel status_dim

Dimensi status menunjukkan informasi tentang status akademik yang terdiri dari aktif, cuti, lulus, cuti tidak lapor, mengundurkan diri, dan drop out. 

Kode	Tipe	Keterangan
status_id	char (5)	id status (Pimary Key)
kode_status	char (10)	kode status akademik
nama_status	char (20)	nama status akademik

• Tabel jalur_dim

Dimensi jalur menunjukkan informasi tentang jalus masuk. Ada tiga jalur penerimaan mahasiswa baru di Fasilkom Unsri yaitu jalur PMP, jalur SNMPTN, dan jalur USM. 

Kode	Tipe	Keterangan
jalur_id	char (5)	id jalur (Pimary Key)
kode_jalur	char (10)	kode jalur pilihan
nama_jalur	char (10)	nama jalur pilihan

• Tabel mk_dim

Dimensi mata kuliah menunjukkan informasi tentang data mata kuliah yang terdiri dari nama matakuliah, kode matakuliah, sks.

Kode	Tipe	Keterangan
mk_id	char (5)	id matakuliah (Pimary Key)
kode_mk	char (10)	kode matakuliah
nama_mk	char (20)	nama matakuliah
sks	char (2)	jumlah sks

• Tabel range_ipk_dim

Kode	Tipe	Keterangan
ipk_id	char (5)	id ipk (Pimary Key)
range_ipk	char (5)	range ipk
ipkmin	decimal (5,2)	ipk minimum
ipkmax	decimal (5,2)	ipk maximum

• Tabel range_ips_dim

Kode	Tipe	Keterangan
ips_id	char (5)	id ips (Pimary Key)
range_ips	char (5)	range ips
ipkmin	decimal (5,2)	ips minimum
ipkmax	decimal (5,2)	ips maximum

                                          ***Semoga bermanfaat dan Mari berbagi.... :)

Referensi : 

http://repository.uinjkt.ac.id