Data

analysis Data validation

process importance, advantages and
disadvantages

‫ عملية التحقق من صحة البيانات‬، ‫تحليل البيانات‬

‫أهميتها و مزاياها و عيوبها‬

Part 3
the data validation process
Companies and organizations rely on high-quality data to make
important strategic decisions, end users lose trust in data when
it is inaccurate and incomplete, restricting its use.

Companies and organizations use data validation to improve the

quality of their data by ensuring its correctness and
completeness. Data validation is the set of methods and
processes that data teams use to keep their data quality high.

Now, let's discuss why businesses, organizations,

and data teams need to validate their data. We will
also talk about their types, advantages and
disadvantages.

What is data validation?

Data validation is the process of verifying data that meets
requirements by comparing it to a set of rules that have already
been set up or defined. This procedure entails a series of tests
known as screening procedures. Simple checks ensure that the
date of birth contains only numbers, while more complex
verifications involve structured conditional checks.

Data validation ensures that the data is clean, accurate, and

usable. Only validated data should be imported, saved, or used;
otherwise, programs may stop working, the results may be wrong
(for example, if models are trained on bad data), or other
problems may arise that may be catastrophic.
The Importance of data validation
Data validation can help you find errors faster, so you don't have
to take any more time to find them. It can save you time later
when cleaning up bad data, besides, data validation is very
important in many ways, in this post we will discuss some of its
most important aspects:

１- Analysts can limit the amount of inaccurate data in

their repositories by validating their data. Organizations
must work together to validate data to get the most out of
the process .

２- Checking the accuracy, clarity and privacy of the data

is essential to fix any problems in the project, you risk
making decisions based on inaccurate and
unrepresentative data without data validation.

３- Data validation is used in the process of ETL

(extraction, translation and loading) and data storage,
allows the analyst to better understand the scope of data
conflict .

４- It is also important to test the data model, if the data

model is properly set up and organized, you can use the
data files in different programs and applications.

５- Data validation can also be done on any data,

including data in one application, such as MS Excel, or
simple data mixed together in one data store.
Data validation comes in many forms. Most data
validations perform one or more of these checks before
the data is stored in the database. These are some
common types of data validation checks:

1. Data Type Check

The data type check makes sure that the type of data entered is
correct. For example, a field may only accept numeric data. In this
case, the system should reject any data that contains other
characters, such as special characters or symbols.

2. Code validation

Code validation ensures that the field value comes from a valid
list or is properly formatted. For example, it is easier to tell if a
postal code is correct when compared to a list of valid ones.

3. Range Check

Range checks are used to validate data that should fall within a
certain range. There are reasonable minimum and maximum
values. For example, an elementary school student will likely be
between 10 and 14 years old. The computer can only be set up to
take numbers 10 to 14.

4. Format check

Many data types follow an already set format. A common example

is date columns that are stored in a fixed format, such as YYYY-
MM-DD or DD-MM-YYYY. A data validation process that verifies
that dates are in the correct format helps keep data and time
consistent.

5. Consistency Check

A consistency check is a type of logical check that makes sure

that the input data is logical. One example is to ensure that the
delivery date is after the shipping date.
 6. Verify uniqueness

Email addresses and IDs are two examples of naturally unique

data. These fields must contain only one entry in the database.
Uniqueness checking ensures that an item is not placed in a
database more than once.

Data validation pros and cons

With data validation testing, companies can validate and validate
their databases and make better decisions. If you decide to
validate data for your business, here are the pros and cons of
each:

Pros

• Verify Data Accuracy

Data validation takes a lot of effort to ensure data integrity.
Validation will not change or improve your data, but will ensure
that it serves its intended purpose if set up correctly.

• Helps Manage Multiple Data Sources

Data validation becomes more important as the number of data
sources increases. Suppose you are importing customer data
from different channels; You'll need to validate all of this data
simultaneously against the same tracking strategy. Otherwise,
inconsistencies and errors may appear between data sets

• Save Time
Data validation takes a while, but once it's done, you don't have
to change anything until your input or requirements change.
Cons

• Complexity
Validation is difficult with many complex data sources. Many
enterprise platforms, such as Segment, include powerful
validation tools for large, multi-source applications, which can
help in this situation.

• Data validation errors

This validation can lead to errors; Not all validation software is
perfect. There will almost certainly be validation errors that need
to be fixed.

• Changing Needs
One of the biggest problems with data validation is that it needs
to be re-validated after certain changes are made. Chart models
and map documents need to be updated as data types and inputs
are provided
 ‫عملية التحقق من صحة البيانات‬
‫تعتمد الشركات والمؤسسات على بيانات عالية الجودة التخاذ قرارات استراتيجية‬
‫مهمة ‪ ،‬يفقد المستخدمون النهائيون الثقة في البيانات عندما تكون غير دقيقة وغير‬
‫كاملة ‪ ،‬مما يقيد استخدامها‪.‬‬

‫تستخدم الشركات والمؤسسات التحقق من صحة البيانات لتحسين جودة بياناتها من‬
‫خالل التأكد من صحتها واكتمالها‪ .‬التحقق من صحة البيانات هو مجموعة األساليب‬
‫والعمليات التي تستخدمها فرق البيانات للحفاظ على جودة بياناتها عالية‪.‬‬

‫اآلن ‪ ،‬دعنا نناقش سبب حاجة الشركات والمؤسسات وفرق البيانات‬

‫إلى التحقق من صحة بياناتهم‪ .‬سنتحدث أيضًا عن أنواعها ومزاياها‬
‫وعيوبها‪.‬‬

‫ما هو التحقق من صحة البيانات؟‬

‫التحقق من صحة البيانات هو عملية التحقق من البيانات التي تفي بالمتطلبات من‬
‫خالل مقارنتها بمجموعة من القواعد التي تم إعدادها أو تحديدها بالفعل‪ .‬يستلزم هذا‬
‫اإلجراء إجراء سلسلة من الفحوصات المعروفة باسم إجراءات الفحص‪ .‬تضمن‬
‫عمليات التحقق البسيطة أن تاريخ الميالد يحتوي على أرقام فقط ‪ ،‬بينما تشتمل‬
‫عمليات التحقق األكثر تعقيدًا على عمليات تحقق شرطية منظمة‪.‬‬

‫يضمن التحقق من صحة البيانات أن البيانات نظيفة ودقيقة وقابلة لالستخدام‪ .‬يجب‬
‫استيراد البيانات التي تم التحقق من صحتها فقط أو حفظها أو استخدامها ؛ خالف‬
‫ذلك ‪ ،‬قد تتوقف البرامج عن العمل ‪ ،‬وقد تكون النتائج خاطئة (على سبيل المثال ‪،‬‬
‫إذا تم تدريب النماذج على بيانات سيئة) ‪ ،‬أو قد تنشأ مشكالت أخرى قد تكون كارثية‪.‬‬
 ‫أهمية التحقق من صحة البيانات‬

‫يمكن أن يساعدك التحقق من صحة البيانات في العثور على األخطاء بشكل أسرع ‪،‬‬
‫لذلك ال يتعين عليك قضاء المزيد من الوقت للعثور عليها‪ .‬يمكن أن يوفر لك الوقت‬
‫الحقا عند تنظيف البيانات السيئة ‪ ،‬إلى جانب ذلك ‪ ،‬يعد التحقق من صحة البيانات‬
‫مهما جدا من نواح كثيرة ‪ ،‬في هذا المنشور سنناقش بعضا من أهم جوانبه‪:‬‬

‫يمكن للمحللين الحد من كمية البيانات غير الدقيقة في مستودعاتهم‬ ‫‪-１‬‬

‫من خالل التحقق من صحة بياناتهم‪ .‬يجب أن تعمل المنظمات م ًعا للتحقق من‬
‫صحة البيانات لتحقيق أقصى استفادة من العملية‪.‬‬
‫يعد التحقق من دقة البيانات ووضوحها وخصوصيتها أمرا ضروريا‬ ‫‪-２‬‬
‫إلصالح أي مشاكل في المشروع ‪ ،‬فأنت تخاطر باتخاذ قرارات بناء على‬
‫بيانات غير دقيقة وغير تمثيلية دون التحقق من صحة البيانات‪.‬‬
‫يتم استخدام التحقق من صحة البيانات في عملية ‪( ETL‬االستخراج‬ ‫‪-３‬‬
‫والترجمة والتحميل) وتخزين البيانات ‪ ،‬يسمح للمحلل بفهم نطاق تعارض‬
‫البيانات بشكل أفضل‪.‬‬
‫من المهم أيضًا اختبار نموذج البيانات ‪ ،‬إذا تم إعداد نموذج البيانات‬ ‫‪-４‬‬
‫وتنظيمه بشكل صحيح ‪ ،‬فيمكنك استخدام ملفات البيانات في برامج وتطبيقات‬
‫مختلفة‪.‬‬
‫يمكن أيضًا إجراء التحقق من صحة البيانات على أي بيانات ‪ ،‬بما في‬ ‫‪-５‬‬
‫ذلك البيانات الموجودة في تطبيق واحد ‪ ،‬مثل ‪ MS Excel ،‬أو البيانات‬
‫البسيطة المختلطة معًا في مخزن بيانات واحد‪.‬‬
 ‫أنواع التحقق من صحة البيانات‬
‫التحقق من صحة البيانات يأتي في أشكال عديدة‪ .‬تقوم معظم عمليات التحقق من‬
‫صحة البيانات بإجراء واحد أو أكثر من هذه الفحوصات قبل تخزين البيانات في قاعدة‬
‫البيانات‪ .‬هذه بعض األنواع الشائعة من فحوصات التحقق من صحة البيانات‪:‬‬

‫فحص نوع البيانات‬

‫يتأكد فحص نوع البيانات من صحة نوع البيانات التي تم إدخالها‪ .‬على سبيل المثال‬
‫‪ ،‬قد يقبل الحقل البيانات الرقمية فقط‪ .‬في هذه الحالة ‪ ،‬يجب على النظام رفض أي‬
‫بيانات تحتوي على أحرف أخرى ‪ ،‬مثل األحرف أو الرموز الخاصة‪.‬‬

‫التحقق من الرمز‬
‫يضمن فحص الكود أن تأتي قيمة الحقل من قائمة صالحة أو تم تنسيقها بشكل‬
‫صحيح‪ .‬على سبيل المثال ‪ ،‬من األسهل معرفة ما إذا كان الرمز البريدي صحي ًحا عند‬
‫مقارنته بقائمة الرموز الصحيحة‪.‬‬

‫فحص المدى‬
‫ت ُستخدم فحوصات النطاق للتحقق من صحة البيانات التي يجب أن تقع ضمن نطاق‬
‫معين‪ .‬هناك حد أدنى وأعلى للقيم المعقولة‪ .‬على سبيل المثال ‪ ،‬من المرجح أن يتراوح‬
‫عمر طالب المدرسة االبتدائية بين ‪ 10‬و ‪ 14‬عا ًما‪ .‬يمكن إعداد الكمبيوتر ألخذ األرقام‬
‫من ‪ 10‬إلى ‪ 14‬فقط‪.‬‬

‫فحص التنسيق‬
‫تتبع العديد من أنواع البيانات تنسيقًا تم تعيينه بالفعل‪ .‬من األمثلة الشائعة أعمدة‬
‫التاريخ التي يتم تخزينها بتنسيق ثابت ‪ ،‬مثل ‪YYYY-MM-DD‬أو ‪DD-MM-‬‬
‫‪YYYY.‬تساعد عملية التحقق من صحة البيانات التي تتحقق من أن التواريخ‬
‫بالتنسيق الصحيح في الحفاظ على اتساق البيانات والوقت‪.‬‬

‫فحص التناسق‬
‫فحص التناسق هو نوع من الفحص المنطقي الذي يتأكد من أن البيانات المدخلة‬
‫منطقية‪ .‬أحد األمثلة هو التأكد من أن تاريخ التسليم بعد تاريخ الشحن‪.‬‬
 ‫التحقق من التفرد‬
‫تعد عناوين البريد اإللكتروني والمعرفات مثالين على البيانات الفريدة بشكل طبيعي‪.‬‬
‫يجب أن تحتوي هذه الحقول على إدخال واحد فقط في قاعدة البيانات‪ .‬يضمن فحص‬
‫التفرد عدم وضع عنصر ما في قاعدة بيانات أكثر من مرة‪.‬‬

‫إيجابيات وسلبيات التحقق من صحة البيانات‬

‫من خالل التحقق من صحة اختبار البيانات ‪ ،‬يمكن للشركات التحقق من صحة‬
‫وصحة قواعد بياناتها واتخاذ قرارات أفضل‪ .‬إذا كنت تقرر التحقق من صحة‬
‫البيانات الخاصة بعملك ‪ ،‬فإليك إيجابيات وسلبيات كل منها‪:‬‬

‫االيجابيات‬
‫تحقق من دقة البيانات‬
‫يؤدي التحقق من صحة البيانات إلى بذل الكثير من الجهد لضمان تكامل البيانات‪.‬‬
‫لن يؤدي التحقق من الصحة إلى تغيير بياناتك أو تحسينها ‪ ،‬ولكنه سيضمن أنها‬
‫تفي بالغرض المقصود منها إذا تم إعدادها بشكل صحيح‪.‬‬

‫يساعد في إدارة مصادر البيانات المتعددة‬

‫تزداد أهمية التحقق من صحة البيانات مع زيادة عدد مصادر البيانات‪ .‬افترض أنك‬
‫تستورد بيانات العمالء من قنوات مختلفة ؛ ستحتاج إلى التحقق من صحة كل هذه‬
‫البيانات في وقت واحد مقابل نفس استراتيجية التتبع‪ .‬وإال فقد تظهر تعارضات‬
‫وأخطاء بين مجموعات البيانات‪.‬‬

‫توفير الوقت‬
‫يستغرق التحقق من صحة البيانات بعض الوقت ‪ ،‬ولكن بمجرد االنتهاء من ذلك ‪،‬‬
‫لن تضطر إلى تغيير أي شيء حتى تتغير مدخالتك أو متطلباتك‪.‬‬
 ‫السلبيات‬
‫تعقيد‬
‫التحقق من الصحة صعب مع العديد من مصادر البيانات المعقدة‪ .‬تتضمن العديد من‬
‫األنظمة األساسية للمؤسسات ‪ ،‬مثل ‪Segment ،‬أدوات تحقق قوية للتطبيقات‬
‫الكبيرة متعددة المصادر ‪ ،‬والتي يمكن أن تساعد في هذا الموقف‪.‬‬

‫أخطاء التحقق من صحة البيانات‬

‫هذا التحقق من الصحة يمكن أن يؤدي إلى أخطاء ؛ ليست كل برامج التحقق من‬
‫الصحة مثالية‪ .‬من المؤكد تقريبًا أنه ستكون هناك أخطاء في التحقق من الصحة‬
‫يجب إصالحها‪.‬‬

‫االحتياجات المتغيرة‬
‫واحدة من أكبر مشاكل التحقق من صحة البيانات هي أنها تحتاج إلى إعادة التحقق‬
‫من صحتها بعد إجراء تغييرات معينة‪ .‬يجب تحديث نماذج المخطط ووثائق الخرائط‬
‫حيث يتم توفير أنواع البيانات والمدخالت‪.‬‬