ارسال: #1

با سلام
در شروع کار به منظور آشنایی سایر دوستانی که شاید اطلاعات زیادی از تعریف و مباحث مطرح در زمینه داده کاوی ندارند بهتر است به تعریف مختصر این دانش بپردازیم و با توضیحاتی که سایر دوستان در ادامه خواهند داد آن تعریف را کامل تر بنماییم .
داده کاوی (Dataminig)
بطور كلي، داده كاوي (كه گاهي اوقات اكتشاف اطلاعات يا دانش ناميده ميشود)عبارت از فرآيندي است كه از چشم اندازهاي مختلف به تحليل داده ها مي پردازد و جمعبندي آنها را در قالب اطلاعات مفيدي ارائه ميكند . اين اطلاعات را ميتوان براي افزايش در آمد ، كاهش هزينه ها يا هردوبه كاربرد. نرم افزار داده كاوي يكي از ابزارهاي تحليل اطلاعات است .اين نرم افزار به كاربران امكان مي دهد اطلاعات را از ابعاد و زواياي بسيار متفاوت تحليل و طبقه بندي كنند وروابطي را كه در آن ها شناسائي نموده اند به اجمال بيان نمايند.به لحاظ فني، داده كاوي عبارت از فرآيندي است كه در ميان حوزه هاي گوناگون بانكهاي اطلاعاتي ارتباطي بزرگ، همبستگي ها يا الگوهايي را پيدا مي كند.داده کاوی، مجموعه ای از تکنیکها است که توسط آنها، دانش پنهان درون داده ها کشف می شود.به عبارت دیگر مدلی بر اساس تمامی داده ها به صورت پویا بدست می آید.داده کاوی از مباحث نوین محسوب می شود که ارتباط تنگاتنگی با علم ریاضیات، مهندسی کامپیوتر و مهندسی صنایع به عنوان کاربرد آن دارد. داده کاوی به بهره گیری از ابزارهای تجزیه و تحلیل داده‌ها به منظور کشف الگوها و روابط معتبری که تا کنون ناشناخته بوده‌اند اطلاق می‌شود. این ابزارها ممکن است مدلهای آماری، الگوریتم‌های ریاضی و روش‌های یاد گیرنده (Machine Laming Method) باشند که کار این خود را به صورت خودکار و بر اساس تجربه‌ای که از طریق شبکه‌های عصبی (Neural Networks) یا درخت‌های تصمیم گیری (Decision Trees) به دست می‌آورند بهبود می‌بخشد.
داده کاوی منحصر به گردآوری و مدیریت داده‌ها نبوده و تجزیه و تحلیل اطلاعات و پیش بینی را نیز شامل می‌شود برنامه‌های کاربردی که با بررسی فایل‌های متن یا چند رسانه‌ای به کاوش داده‌ها می پردازند پارامترهای گوناگونی را در نظر می‌گیرد که عبارت اند از:

• رابطه (Association): الگوهایی که بر اساس آن یک رویداد به دیگری مربوط می‌شود مثلا خرید قلم به خرید کاغذ.
• ترتیب (Sequence): الگویی که به تجزیه و تحلیل توالی رویدادها پرداخته و مشخص می‌کند کدام رویداد، رویدادهای دیگری را در پی دارد مثلا تولد یک نوزاد و خرید پوشک.
• دسته بندی(Classification): شناسایی الگوهای جدید مثلا همزمانی خرید چسب و پوشه
• خوشه بندی(Clustering): کشف و مستند سازی مجموعه‌ای از حقایق ناشناخته مثلا موقعیت جغرافیایی خرید محصولی با مارک خاص
• پیش بینی(Forecasting):کشف الگوهایی که بر اساس آنها پیش بینی قابل قبولی از رویدادهای آتی ارایه می‌شود، مثلا رابطه عضویت در یک باشگاه ورزشی با شرکت ذر کلاسهای ورزشی.

برنامه‌های کاربردی که در زمینه تجزیه و تحلیل اطلاعات به کار می‌روند از امکاناتی چون پرس و جوی ساخت یافته (Structured query) که در بسیاری از بانک‌های اطلاعاتی یافت می‌شود و از ابزارهای تجزیه و تحلیل آماری برخوردارند اما برنامه‌های مربوط به داده کاوی در عین برخورداری از این قابلیت‌ها از نظر نوع با آنها تفاوت دارند. بسیاری از ابزارهای ساده برای تجزیه و تحلیل داده‌ها روشی بر پایه راستی آزمایی (verifiction)را به کار می‌برند که در آن فرضیه‌ای بسط داده شده آنگاه داده‌ها برای تایید یا رد آن بررسی می‌شوند. به طور مثال ممکن است این نظریه مطرح شود که فردی که یک چکش خریده حتماً یک بسته میخ هم خواهد خرید. کارایی این روش به میزان خلاقیت کاربر برای ارایه فرضیه‌های متنوع و همچنین ساختار برنامه بکار رفته بستگی دارد. در مقابل در داده کاوی روشهایی برای کشف روابط بکار برده می‌شوند و به کمک الگوریتم‌هایی روابط چند بعدی بین داده‌ها تشخیص داده شده و آنهایی که یکتا (unique) یا رایج هستند شناسایی می‌شوند. به طور مثال در یک فروشگاه سخت‌افزار ممکن است بین خرید ابزار توسط مشتریان با تملک خانه شخصی یا نوع خودرو، سن، شغل، میزان درآمد یا فاصله محل اقامت آنها با فروشگاه رابطه‌ای برقرار شود.
موفق باشید

ارسال: #2

با سلام

برخی از روابط بدیهی به نظر می رسند، مثلا خرید میخ به همراه چکش و معمولا این کالا ها در فروشگاه در کنار هم قرار دارند. اما برخی روابط مشهود نیست مثل ارتباط خرید کالا با سن و سایر پارامتر های شخصی افراد. آیا هدف یافتن این رابطه هاست ؟ تاثیر یافتن روابط نا مشهود تا چه اندازه خواهد بود ؟ اگر مثال های دیگر ترجیحا در زمینه های دیگر بفرمایید به روشن شدن کاربرد داده کاوی کمک می کند.

با تشکر

ارسال: #3

سلام جناب مودت با تشکر از شما .
درست است در نگاه اول ، شاید کسی که چکش می خرد به نظر بیاید خوب حتما میخ هم خواهد خرید ولی احتمال آن چه قدر است شما نمی توانید تضمین بدهید که به طور حتم این اتفاق می افتد ولی دقیقا در بحث Rule ها که در مبحث Association Rule Mining مطرح می شود روابط وابستگی بین خصیصه های مختلف را بیان می کند و می تواند این روابط بین خصیصه های مختلف بررسی شود مثلا کسی که چکش خریداری کرده با چه احتمالی از فروشگاه نان هم خریداری می کند و به نوعی شما این احتمالات را می توانید به دست آورید .

قوانین پیوستگی (Association Rule) :

یکی از مهمترین بخشهای داده کاوی، کشف قوانین وابستگی در پایگاه داده است.این قوانین، لزوم وقوع برخی صفات(آیتم ها) را در صورت وقوع برخی دیگر از آیتمها، تضمین می کند.برای روشن شدن مطلب یک فروشگاه خرده فروشی را در نظر بگیرید. مشخصات اجناس خریده شده توسط هر مشتری در یک رکورد پایگاه داده ذخیره می شود.به هر رکورد یک شناسه (TID) نسبت داده می شود.فرض کنید که مجموعه I شامل تمام آیتمها(اجناس) فروشگاه باشد. اگر x,yو x∩y=ø آنگاه x=>yیک قانون وابستگی است که بیان میکند اگریک مشتری اجناس مجموعه x را بخرد، اجناس مجموعه y را هم می خرد. این چنین قوانین، تأثیر مهمی در تایین استراتژیهای فروش، بخش بندی مشتریان، تنظیم کاتالوگها و... دارد. همچنین کشف قوانین وابستگی، کاربردهای بسیاری در علوم مختلف نیز دارد. به عنوان نمونه از کاربردهای داده کاوی موارد زیر مطرح می باشد
* پیش بینی وقایع آینده بر اساس روند گذشته
* طبقه بندی اشیا و افرادبرای شناسایی الگو
* دسته بندی اشیا و افراد بر اساس صفات و ویژگی ها
* شناسایی وقایعی که احتمال دارد همزمان رخ دهند
* شناسایی وقایعی که یکی باعث وقوع دیگری می شود
در داده کاوی شما می توانید با در نظر گرفتن داده های موجود ارتباط بین خصیصه هایی که حتی در دسترس نیستند را نیز پیش بینی کنید ( مثل همان ارتباط بین خرید چکش با خرید نان ، که با بررسی سبد های خرید مشتریان می تواند به دست بیاید )و یا به عنوان مثال با بررسی داده های به دست آمده از تصادفات رانندگی بیان کنید بستن کمربند ایمنی و یا سرعت زیاد و یا حتی

سطح تحصیلات رانندگان به چه میزان در بروز تصادفات دخیل بوده است .

موفق باشید