Pages

Social Icons

Rabu, 03 Desember 2014

KUALITAS DATA ~ DATAWAREHOUSE

Berikut ini saya akan menjelaskan apa itu Kualitas Data, yuk simakkk... ;))

KUALITAS DATA SANGAT PENTING?

1. Meningkatkan percayaan diri dalam pengambilan keputusan
2.Memperbaiki pelayanan kpd Customer
3.Meningkatkan kesempatan memperbaiki kinerja,
4.Mengurangi resiko dari keputusan yang berbahaya,
5.Mengurangi biaya, terutama untuk pemasaran,
6.Mengembangkan strategi untuk pembuatan keputusan,
7.Meningkatkan produktivitas dengan memangkas beberapa proses
8.Menghindari efek komplikasi dari data yang terkontaminasi

Akurasi Vs Kualitas :

AKURASI
KUALITAS
              1. Sesuai entitasnya
              2. Elemen data Didefinisikan                  menggunakan  Database Teknologi
               3. Elemen data menyesuaikan dgn 
                    batasan  tervalidasi
                4. Masing2 data memiliki tipe data yg                  sesuai Operasional Database

               1. Sesuai Kegunaan
n                          2Sesuai dengan representasi Bisnis
               3. Terhubung tidak hanya dalam satu data
               tapi keseluruhan sistem
                4. Form dan data konsisten terhadap                      keseluruhan sistem Datawarehouse 


Indikator Data Berkualitas

1. ACCURACY = data yang tersimpan nilainya benar (name cocok dengan alamatnya)
2. DOMAIN INTEGRITY = nilai attributnya sesuai batasan yang diperkenankan (nilai attribut laki n                                      perempuan)
3.DATA TYPE = Nilai data disimpan dalam tipe data yang sesuai (data nama disimpan dengan tipe text

4.CONSISTENCY = nilai sebuah field data akan sama semua dalam berbagai berkas (field produk A 
                              dgn kode 123, akan selalu sama kodenya di setiap berkas lain)
5.REDUDANCY = tidak boleh ada data yang sama disimpan di tempat yang berbeda dalam satu sistem
6.COMPLETENESS = Tidak ada nilai atttribut salah yang diberikan dalam sistem
7.DUPLICATION = tidak ada baris record yang sama dalam satu sistem
8.CONFORMANCE TO BUSINESS RULES = sesuai dengan aturan bisnis yang berlaku (di bank è  
                              loan balance = + or 0)
9.STRUCTURAL DEFINITENESS = dapat didefinisikan strukturnya (nama = firstname + middlename + 
                                                       lastname 
10.DATA ANOMALY = sebuah field hanya digunakan sesuai kegunaannya. (field address3 è 
                                   digunakan untuk mencatat baris ketiga dalam alamat bukan untuk telp atau fax)
11. CLARITY = Kejelasan arti kegunaan dan cara penulisan sebuah data (penamaan khusus)
12.TIMELY = merepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka 
                      data pada warehaouse harus juga dibuat per hari)

Macam permasalahan dalam menjaga kualitas data (1)

1. Dummy values in fields è (kode pos di isi 77777)
2.Absence of data values è (alamat tidak terbagi menjadi region)
3.Unofficial use of fields è (isi komentar pada customer contact filed)

4, Cryptic values. è (penyingkatan nilai yang berubah L P jadi P W) 







Referensi :
https://achmadyasid.files.wordpress.com/


































Resume Pertemuan 11 - Datawarehouse

Data Transformation Service


DTS adalah memindahkan data dari database OLTP ke data warehouse dengan tujuannya. Hal ini dilakukakn ketika validasi, cleaning up, konsolidasi, dan mengubah data yang diperlukan. (Vieria, Robert, 2000, p91) atau juga bisa dibilang keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data. Transfer data yang memuat tiap kolom dari sumber data antardatabase dan mentransformasi data dari 1 format ke format yang lain dengan menggunakan ODBC, AktiveX, dan perintah SQL, atau bahkan program-program eksternal yangbisa menjadi bagian dari paket DTS tersebut merupakan cakupan dari proses dari fungsi DTS itu sendiri.

Tool-tool yang tersedia untuk menciptakan dan mengeksekusi DTS packages :
  • ·         Import Export Wizzard
Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard
  • ·         DTS Designer
DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.
  • ·         DTS Run
DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.
  • ·         DTSRunUI
DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

Connection untuk mengakses & memindahkan data :

Agar eksekusi DTS tasks dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujua. Ketika menciptakan sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB providers dan ODBC drivers. Jenis hubungan yang tersedia antara lain:
  • Microsoft Data Acces Component (MDAC) drivers
  • Microsoft Jet drivers
  • Other drivers
  • OLE DB CONNECTION





Minggu, 26 Oktober 2014

RESUME PERTEMUAN VII - LOGICAL & PHYSICAL DESIGN




Kali ini kita akan belajar tentang apa itu Logical Design dan Physical Design,,,,yuk simak lebih lengkapnya.... :)


LOGICAL DESIGN & PHYSICAL DESIGN



3 Tingkatan Analisis dan Desain Database :




Logical Design :

       •Memetakan conceptual schema ke struktur logis sehingga dapat diproses oleh DBMS

  •Macam-macam skema logis meliputi unsur-unsur hierarki, tabel-tabel dengan kunci utama, relasi antar tabel dan aliran data

Physical Design :

Menggambarkan struktur dari data dalam memori sekunder
•Menggambarkan struktur penyimpanan dan metode-metode aksesnya
•Biasanya sudah tergantung pada DBMS tertentu

Perbedaannya :

Logical Design :
•   Menggunakan ER Diagram
•   Mencari objek-objek
    penting (entitas)
•   Mendefinisikan atribute
•   Membuat relasi

contoh :


Physical Design :
•Merubah dari logical design menjadi objek-objek database
•Tablespace, Table, integrity constraint, dll 

Contoh :


OLTP :
1. ERD
2. Normalisasi à Penyimpanan yang dilakukan berdasarkan aturan normalisasi data, dikelompokan berdasarkan katagori (pelanggan, produk, keuangan,dll).
•Keuntungan :
      Mudah untuk menambah informasi kedatabase.
•Kekurangan :
      Karena banyak table yang terlibat maka akan sulit bagi pengguna untuk 
      menggabungkan data dari sumber yang berbeda.
OLAP :
1.ERD

2.DENORMALISASI adalah Proses penggabungan tabel-tabel untuk meningkatkan kecepatan dalam pengaksesan database, Menurut Sid Adelman (2000,p2444), Denormalisasi adalah suatu prosedur menyusun kembali data yang telah dinormalisasi untuk menspesifikasikan kumpulan proses sehingga membuat proses sehingga membuat proses menjadi lebih efisien. Proses denormalisasi ini sangat berlawanan dengan proses normalisasi yang bisa dilakukan dalam pendesainan database.










Source :
www.academia.edu
nyoman.dosen.narotama.ac.id

Sabtu, 18 Oktober 2014

RESUME PERTEMUAN VI - DATA WAREHOUSE




Pada Peretemuan VI membahas tentang kelebihan dan kekurangan Star Schema, Snowflake Schema dan Starflake semua, dan kita akan lebih tau perbedaannya dengan melihat tabel berikut ini..yuk, simak.. ;)




Star Schema



Definisi : Skema bintang merupakan struktuk logikal yang memiliki tabel fakta yang terdiri atas data faktual ditengahnya, dan dikelilingi oleh tabel-tabel dimensi yang berisi referensi data.


Kelebihan
Kekurangan
Skema Data Warehousing yang paling sederhana sehingga mudah  dimengerti
 Highly denormalized
Metadata tidak rumit
 Data redundan di dimensional tabel
 Low maintenance
 Membutuhkan space yang besar

Snowflake Schema

Definisi : Merupakan varian dari skema bintang dimana table-table dimensi tidak terdapat data yang di denormalisasi. Dengan kata lain satu atau lebih table dimensi tidak bergabung secara langsung  kepada table fakta tapi pada table dimensi lainnya


Kelebihan
Kekurangan
Query lebih cepat karena lebih detail karena dipisahkan kebutuhannya.
  Rumit dalam pemeliharaan dan metadatanya
Kinerja pemrosesan query tinggi untuk query-query yang melibatkan agregasi
Jumlah tabel dalam database membengkak


Starflake Schema


Definisi : Campuran antara Star Schema dan Snowflake Schema yang dimana tabel dimensi tidak hanya tidak hanya terdapat tabel yang dinormalisasi melainkan terdapat juga tabel dimensi yang didenormalisasi.


Kelebihan
Kekurangan
Bersifat fleksibel terhadap perubahan yang terjadi khususnya perubahan yang mengarah pada perkembangan
Susah dalam pengaturan dan support
Dapat beradaptasi terhadap kebutuhan-kebutuhan user
 Rumit karena banyak varian agregasi yang harus dipertimbangkan
  Memiliki kemampuan dalam memodelkan situasi bisnis secara umum
-   












Source :


Sabtu, 11 Oktober 2014

Pertemuan V - Data Warehouse (TUGAS-3)





Tugas ke-3 untuk pertemuan ke-VI kali ini adalah "Mencari tabel database dan masalah, untuk diubah ke Star schema/ Snowflake Schema", berikut ini akan saya jelaskan dalam contoh tabel database dan scheme apa yang tepat untuk digunakan, yukk simakk.. :)



Analisa Masalah :



Fakultas Ilmu Komputer Universitas Sriwijaya (Fasilkom Unsri) adalah fakultas yang telah memiliki sistem informasi akademik namun di sistem tersebut masih terdapat kekurangan yakni sistem tersebut tidak terintegrasi didalam satu basisdata. Pengelolaan data akademik yang di gunakan secara online dan manual.
Contohnya hal pengelompokkan data atau sumber data yang di terima masih terkelompok dari kegiatan administrasi akademik, misalkan data mahasiswa aktif, stop out, drop out
yang masih menggunakan penyimpanan data secara terpisah, demikian juga pada pemrosesan data KRS dan KHS per semester yang diperlukan dengan membuat basisdata yang terpisah dikarenakan perubahan sistem yang lama dari angkatan 2005-2007 dengan sistem yang baru mulai dari angkatan 2008-2010. Sistem informasi akademik pada angkatan 2005-2007 menggunakan aplikasi dekstop C++ Builder, sedangkan sistem informasi akademik pada angkatan 2008-sekarang sudah online atau berbasis web dengan menggunakan RDBMS MySQL.

Scheme Yang digunakan :


Skema yang digunakan untuk pemodelan data adalah star schema dimana terdapat satu tabel fakta dan beberapa tabel dimensi. Penggunaan star schema memungkinkan proses query yang lebih ringan dan memudahkan penjelajahan terhadap data dimensinya. Tabel fakta yang terbentuk dari perancangan data warehouse ini merupakan tabel yang berhubungan dengan evaluasi kegiatan akademik mahasiswa. 

Tabel -tabel fakta yang ada dalam data warehouse ini adalah 

sebagai berikut : 

Tabel nilaimhs_fact

Tabel ini berisi data nilai yang telah diperoleh mahasiswa yang terdiri dari mata kuliah yang dipilih, dan nilai yang diperoleh.

• Tabel hasilstudy_fact

Tabel ini berisi catatan akademik mahasiswa yang terdiri dari indeks prestasi semester (IPS), indeks prestasi Kumulatif (IPK), sistem kredit semester (SKS) yang diambil dan SKS yang sudah ditempuh pada periode tersebut. Selain itu juga disimpan data status akademik mahasiswa pada periode tersebut. 



Star Schema Nilai Mahasiswa


Star Schema Catatan Akademik

Tabel dimensi merupakan tabel yang berisi data yang menunjukkan tinjauan dari berbagai perspektif. Adanya dimensi memungkinkan pembuatan laporan dinamis yang bisa ditinjau dari berbagai perspektif sekaligus tingkat perinciannya bisa diatur.



Tabel-tabel dimensi yang ada dalam data warehouse akademik adalah sebagai berikut : 

• Tabel periode_dim  
Data yang termasuk dimensi periode adalah tahun akademik, semester (ganjil dan genap) dan perkuliahan (regular dan pendek).


Kode
Tipe
Keterangan
periode_id
char (5)
id periode (Pimary Key)
tahun_akademikdatetime
tahun akademik
semester
char (5)
semester
perkuliahan
varchar (10)
jenis perkuliahan



• Tabel mhs_dim

Data yang termasuk dalam dimensi mahasiswa adalah data pribadi seperti nim, nama, tempat lahir, tanggal lahir, alamat dan lain sebagainya.


Kode
Tipe
Keterangan
mhs_id
char (10)
id mahasiswa (Pimary Key)
nim
char (10)
nim mahasiswa
nama
varchar (20)
nama mahasiswa
angkatan
char (10)
angkatan mahasiswa
jalur
varchar (10)
jalur
tmpt_lahir
varchar (10)
tempat lahir mahasiswa
tgl_lahir
datetime
tanggal lahir mahasiswa
gender
varchar (10)
gender mahasiswa
agama
varchar (10)
agama mahasiswa
alamat
varchar (30)
alamat mahasiswa
kota
varchar (10)
kota asal
propinsi
varchar (15)
propinsi
kode_pos
char (10)
kode pos
tgl_masuk
datetime
tanggal masuk mahasiswa
tgl_lulus
datetime
tanggal lulus mahasiswa


















 • Tabel prodi_dim 
Dimensi jurusan mengandung data tentang jenjang pendidikan, jurusan, dimana setiap jurusan terdiri dari satu jurusan atau lebih. Jenjang pendidikan terdiri dari D3 (Diploma III), dan S1 (Sarjana).

Kode
Tipe
Keterangan
prodi_id
 char (5)
 id prodi (Pimary Key)
kode_prodi
 char (10)
 kode prodi
nama_prodi
 char (20)
 nama prodi
kode_jenjang
 char (5)
 kode jenjang






• Tabel status_dim
Dimensi status menunjukkan informasi tentang status akademik yang terdiri dari aktif, cuti, lulus, cuti tidak lapor, mengundurkan diri, dan drop out. 

Kode
Tipe
Keterangan
status_id
 char (5)
 id status (Pimary Key)
kode_status
 char (10)
 kode status akademik
nama_status
 char (20)
 nama status akademik






• Tabel jalur_dim
Dimensi jalur menunjukkan informasi tentang jalus masuk. Ada tiga jalur penerimaan mahasiswa baru di Fasilkom Unsri yaitu jalur PMP, jalur SNMPTN, dan jalur USM. 

Kode
Tipe
Keterangan
jalur_id
 char (5)
 id jalur (Pimary Key)
kode_jalur
 char (10)
 kode jalur pilihan
nama_jalur
 char (10)
 nama jalur pilihan





• Tabel mk_dim
Dimensi mata kuliah menunjukkan informasi tentang data mata kuliah yang terdiri dari nama matakuliah, kode matakuliah, sks.


Kode
Tipe
Keterangan
mk_id
 char (5)
 id matakuliah (Pimary Key)
kode_mk
 char (10)
 kode matakuliah
nama_mk
 char (20)
 nama matakuliah
sks
 char (2)
 jumlah sks






• Tabel range_ipk_dim

Kode
Tipe
Keterangan
ipk_id
 char (5)
 id ipk (Pimary Key)
range_ipk
 char (5)
 range ipk
ipkmin
 decimal (5,2)
ipk minimum
ipkmax
decimal (5,2)
 ipk maximum






• Tabel range_ips_dim

Kode
Tipe
Keterangan
ips_id
 char (5)
 id ips (Pimary Key)
range_ips
 char (5)
 range ips
ipkmin
 decimal (5,2)
 ips minimum
ipkmax
decimal (5,2)
 ips maximum








                                          ***Semoga bermanfaat dan Mari berbagi.... :)









Referensi : 


http://repository.uinjkt.ac.id
 

Blogger news

Sample text

Blogroll

About

Sample Text