KDD বনাম ডেটা মাইনিং
KDD (নলেজ ডিসকভারি ইন ডাটাবেসেস) হল কম্পিউটার বিজ্ঞানের একটি ক্ষেত্র, যার মধ্যে রয়েছে ডিজিটাইজড ডেটার বৃহৎ সংগ্রহ থেকে দরকারী এবং পূর্বে অজানা তথ্য (অর্থাৎ জ্ঞান) আহরণে মানুষকে সাহায্য করার জন্য সরঞ্জাম এবং তত্ত্ব। KDD বিভিন্ন ধাপ নিয়ে গঠিত, এবং ডেটা মাইনিং তাদের মধ্যে একটি। ডেটা মাইনিং হল ডেটা থেকে প্যাটার্ন বের করার জন্য একটি নির্দিষ্ট অ্যালগরিদমের প্রয়োগ। তথাপি, KDD এবং ডেটা মাইনিং পরস্পর বিনিময়যোগ্যভাবে ব্যবহৃত হয়।
KDD কি?
উপরে উল্লিখিত হিসাবে, KDD হল কম্পিউটার বিজ্ঞানের একটি ক্ষেত্র, যা কাঁচা ডেটা থেকে পূর্বে অজানা এবং আকর্ষণীয় তথ্য আহরণ নিয়ে কাজ করে।কেডিডি হল উপযুক্ত পদ্ধতি বা কৌশল বিকাশের মাধ্যমে ডেটা বোঝার চেষ্টা করার পুরো প্রক্রিয়া। এই প্রক্রিয়াটি নিম্ন-স্তরের ডেটার ম্যাপিংকে অন্যান্য ফর্মগুলিতে মোকাবেলা করে যেগুলি আরও কমপ্যাক্ট, বিমূর্ত এবং দরকারী। এটি সংক্ষিপ্ত প্রতিবেদন তৈরি করে, ডেটা তৈরির প্রক্রিয়ার মডেলিং এবং ভবিষ্যতবাণীমূলক মডেলগুলি তৈরি করে যা ভবিষ্যতের ক্ষেত্রে ভবিষ্যদ্বাণী করতে পারে। ডেটার সূচকীয় বৃদ্ধির কারণে, বিশেষ করে ব্যবসার মতো ক্ষেত্রগুলিতে, KDD ডেটার এই বিশাল সম্পদকে ব্যবসায়িক বুদ্ধিমত্তায় রূপান্তর করার জন্য একটি অত্যন্ত গুরুত্বপূর্ণ প্রক্রিয়া হয়ে উঠেছে, কারণ গত কয়েক দশকে নিদর্শনগুলির ম্যানুয়াল নিষ্কাশন আপাতদৃষ্টিতে অসম্ভব হয়ে উঠেছে। উদাহরণস্বরূপ, এটি বর্তমানে বিভিন্ন অ্যাপ্লিকেশন যেমন সামাজিক নেটওয়ার্ক বিশ্লেষণ, জালিয়াতি সনাক্তকরণ, বিজ্ঞান, বিনিয়োগ, উত্পাদন, টেলিযোগাযোগ, ডেটা পরিষ্কার, খেলাধুলা, তথ্য পুনরুদ্ধার এবং ব্যাপকভাবে বিপণনের জন্য ব্যবহৃত হয়। কেডিডি সাধারণত প্রশ্নের উত্তর দিতে ব্যবহৃত হয় যেমন প্রধান পণ্যগুলি কী কী যেগুলি পরের বছর ওয়াল-মার্টে উচ্চ মুনাফা পেতে সাহায্য করতে পারে?।এই প্রক্রিয়ার বেশ কয়েকটি ধাপ রয়েছে। এটি অ্যাপ্লিকেশন ডোমেন এবং লক্ষ্য সম্পর্কে একটি বোঝার বিকাশ এবং তারপর একটি লক্ষ্য ডেটাসেট তৈরি করার সাথে শুরু হয়। এটি পরিষ্কার, প্রিপ্রসেসিং, হ্রাস এবং ডেটা প্রজেকশন দ্বারা অনুসরণ করা হয়। প্যাটার্ন শনাক্ত করতে পরবর্তী ধাপ হচ্ছে ডেটা মাইনিং (নীচে ব্যাখ্যা করা হয়েছে) ব্যবহার করা। অবশেষে, আবিষ্কৃত জ্ঞান কল্পনা এবং/অথবা ব্যাখ্যার মাধ্যমে একত্রিত হয়।
ডেটা মাইনিং কি?
উপরে উল্লিখিত হিসাবে, ডেটা মাইনিং সামগ্রিক KDD প্রক্রিয়ার মধ্যে একটি ধাপ মাত্র। অ্যাপ্লিকেশনের লক্ষ্য দ্বারা সংজ্ঞায়িত দুটি প্রধান ডেটা মাইনিং লক্ষ্য রয়েছে এবং সেগুলি হল যাচাই বা আবিষ্কার। যাচাইকরণ ডেটা সম্পর্কে ব্যবহারকারীর অনুমান যাচাই করছে, যখন আবিষ্কার স্বয়ংক্রিয়ভাবে আকর্ষণীয় নিদর্শন খুঁজে পাচ্ছে। চারটি প্রধান ডেটা মাইনিং কাজ রয়েছে: ক্লাস্টারিং, শ্রেণীবিভাগ, রিগ্রেশন এবং অ্যাসোসিয়েশন (সারাংশ)। ক্লাস্টারিং অসংগঠিত ডেটা থেকে অনুরূপ গোষ্ঠী সনাক্ত করছে। শ্রেণীবিভাগ হল নিয়ম শেখা যা নতুন ডেটাতে প্রয়োগ করা যেতে পারে।রিগ্রেশন মডেল ডেটাতে ন্যূনতম ত্রুটি সহ ফাংশন খুঁজে বের করছে। এবং অ্যাসোসিয়েশন ভেরিয়েবলের মধ্যে সম্পর্ক খুঁজছে। তারপর, নির্দিষ্ট ডেটা মাইনিং অ্যালগরিদম নির্বাচন করা প্রয়োজন। লক্ষ্যের উপর নির্ভর করে, বিভিন্ন অ্যালগরিদম যেমন লিনিয়ার রিগ্রেশন, লজিস্টিক রিগ্রেশন, ডিসিশন ট্রি এবং নেভ বেইস নির্বাচন করা যেতে পারে। তারপরে এক বা একাধিক প্রতিনিধিত্বমূলক ফর্মগুলিতে আগ্রহের নিদর্শনগুলি অনুসন্ধান করা হয়। অবশেষে, মডেলগুলিকে হয় ভবিষ্যদ্বাণীমূলক নির্ভুলতা বা বোঝার ক্ষমতা ব্যবহার করে মূল্যায়ন করা হয়৷
KDD এবং ডেটা মাইনিংয়ের মধ্যে পার্থক্য কী?
যদিও, দুটি শব্দ KDD এবং ডেটা মাইনিং ব্যাপকভাবে বিনিময়যোগ্যভাবে ব্যবহৃত হয়, তারা দুটি সম্পর্কিত তবে সামান্য ভিন্ন ধারণাকে উল্লেখ করে। KDD হল ডেটা থেকে জ্ঞান আহরণের সামগ্রিক প্রক্রিয়া যখন ডেটা মাইনিং হল KDD প্রক্রিয়ার মধ্যে একটি ধাপ, যা ডেটাতে প্যাটার্ন সনাক্তকরণের সাথে কাজ করে। অন্য কথায়, ডেটা মাইনিং হল KDD প্রক্রিয়ার সামগ্রিক লক্ষ্যের উপর ভিত্তি করে একটি নির্দিষ্ট অ্যালগরিদমের প্রয়োগ।
