مقاله داده کاوی (Data mining)


دنلود مقاله و پروژه و پایان نامه دانشجوئی

مقاله داده کاوی (Data mining) مربوطه  به صورت فایل ورد  word و قابل ویرایش می باشد و دارای ۴۸  صفحه است . بلافاصله بعد از پرداخت و خرید لینک دانلود مقاله داده کاوی (Data mining) نمایش داده می شود، علاوه بر آن لینک مقاله مربوطه به ایمیل شما نیز ارسال می گردد

 فهرست

چکیده : ۱

مقدمه : ۲

داده کاوی (Data mining)    :. ۳

۱- مرحله کاوش(Exploration)  : ۵

مرحله ۲- ساختن مدل و معتبر سازی (model building and validation): 6

مرحلة۳- مرحلهُ گسترش Deployment):( : 6

مفاهیم تعیین کننده در داده کاوی: ۸

۱-هم پیوندی (Bagging) : 8

2-طبقه بندی) Boosting  (  : ۱۰

٣.الگوهای ترتیبی : ۱۲

۴.خوشه بندی(clustering) : 13

تهیه مقدمات جهت داده کاوی : ۱۴

کاهش داده ها در داده کاوی: ۱۵

گسترش داده کاوی Deployment : 15

آنالیز (Drill – down analysis)  : ۱۶

انتخاب خصیصه ها (Feature selection) : 17

فراگیری ماشین  (Machine learning): 18

Meta-learning (فراگیری غیر نمادین) : ۱۹

مدل های داده کاوی: ۲۰

فرایند داده کاوی در مدیریت ارتباط با مشتری : ۲۳

داده کاوی پیشگویانه   (Predictive data mining) : 24

تعمیم پشته ای (stacked generalization) .:. 25

متن کاوی  (text mining)  :. ۲۶

انبار داده ها (Data Warehousing )    : ۲۷

مشخصات انبار داده ها : ۲۸

سیستم های انبار داده : ۳۰

معماری های انبار داده : ۳۱

معماری دولایه: ۳۱

معماری سه لایه دولین : ۳۳

OLAP (فرآیند آنالیز  آن لاین) Online analytic processing: 34

تحلیل کاوشگرایانة داده‌ها: ۳۵

تکنیک‌های  محاسباتی EDA:  : ۳۶

روشهای کاوشگرایانة پایه: ۳۶

تکنیک‌های گرافیکی EDA: 37

Brushing: 37

تفکیک‌های گرافیکی دیگر EDA:  : ۳۸

بررسی صحت نتایج EDA: 39

شبکه‌های عصبی: ۳۹

نتیجه گیری : ۴۳

مراجع : ۴۴

چکیده :

       داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای.

این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها , الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربراتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طورفزایند های در تحلیل ها مورد استفاده قرار می گیرد.

 مقدمه :

          امروزه با حجم عظیمی از داده ها روبرو هستیم. برای استفاده از آنها به ابزارهای کشف دانش نیاز داریم. داده کاوی به عنوان یک توانایی پیشرفته در تحلیل داده و کشف دانش مورد استفاده قرار می گیرد. داده کاوی در علوم (ستاره شناسی،…)‌در تجارت (تبلیغات، مدیریت ارتباط با مشتری،…) در وب (موتورهای جستجو،…) در مسایل دولتی (فعالیتهای ضد تروریستی،…) کاربرد دارد.  عبارت داده کاوی شباهت به استخراج زغال سنگ و طلا دارد. داده کاوی نیز اطلاعات را که در انبارهای داده مدفون شده است، استخراج می کند.

در واقع هـــــدف از داده کاوی ایجاد مدل هایی برای تصمیم گیری است. این مدلها رفتارهای آینده را براساس تحلیلهای گذشته پیش بینی می کنند. به کاربردن داده کاوی به عنوان اهرمی برای آماده سازی داده ها و تکمیل قابلیتهای انباره داده ، بهترین موقعیت را برای به دست آوردن برتریهای رقابتی ایجاد می کند.

داده کاوی (Data mining) :

          داده کاوی (Data mining) یک فرایند تحلیلی است که جهت کاوش داده ها (معمولاً حجم بالای داده ها و یا داده های تجاری و مربوط به  بازار) و جستجوی الگوهای پایدار یا روابط سیستماتیک مابین متغیرها بکار میرود وسپس با اعمال الکو های شناسایی شده به زیر مجمو عه های جدید صحت  داده های بدست آمده بررسی میگردد. هدف نهایی داده کاوی پیشگویی است.

سازما نها معمولا روزانه مقدار زیادی داده را در انجام عملیات تجاری خود تولید و جمع آوری می کنند.

امروزه برای این پایگاه های داده شرکتی عجیب نیست که مقدار داده های آن در حد ترابایت باشد. با این حال علی رغم ثروت اطلاعاتی عظیم ذخیره شده حدس زده می شود که فقط ٪ ٧کل داد ه هایی که جمع آوری  می شود مورد استفاده قرار می گیرد. بدین ترتیب مقدار قابل توجهی داده که بدون شک حاوی اطلاعات ارزشمند سازمانی است تا حد زیادی دست نخورده باقی می ماند. در محیط تجاری عصر اطلاعات، که هر روز رقابتی تر می شود  می توان با استخراج اطلاعات از داد ه های استفاده نشده به تصمیم گیری های استراتژیک دست یافت. در طول تاریخ تحلیل داده ها از طریق رگرسیون و دیگر تکنیک های آماری انجام شده است.  برای استفاده از این تکنیکها ، لازم است که تحلیل گر مدلی خلق کند و فرآیند گر دآوری دانش را سازمان دهد.

اما امروزه این روش ها به تنهایی کافی نیستند و باید از روش ها ی خود کار استفاده کرد.

داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای.

این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها ، الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربر اتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طور

فرایند های در تحلیل ها مورد استفاده قرار می گیرد

   داده کاوی پیشگویانه رایج ترین نوع داده کاوی است و با برنامه های کاربردی تجاری در ارتباط مستقیم است . فرایند داده کاوی از سه مرحله تشکیل شده است.

ا- کاوش اولیه (initial exploration )

   ۲-ساختن مدل یا شناسایی الگو بوسیلة سنجیدن اعتبار وصحت داده ها

   ۳-گسترش

 ۱- مرحله کاوش(Exploration)  :

این مرحله معمولاً با آماده سازی داده ها آغاز می شود که تشکیل شده است از پاکسازی داده ها (cleaning data) ،تغیر شکل داده ها، انتخاب زیر مجموعه ای از رکورد ها (در زمانی که مجموعه ای از داده ها با حجم بالایی از فیلد ها  موجود است) و انجام دادن برخی عملیات اولیه جهت قرار دادن  متغیر ها در یک بازة قابل مدیریت،که بستگی به روش آماری ای که مورد نظراست دارد و پس ازآن به طبیعت مسئله تحت بررسی مربوط می شود.

مرحلهُ اول فرآیند داده کاوی می تواند در هر جایی از گسترة ، انتحاب یک روش مستقیم پیشگویی   تا یک روش تجزیه و تحلیل با جزئیات وزحمت بالا قرار داشته باشد .(جهت کسب اطلاعات وسیع تر به قسمت EDA مراجعه کنید).

  این مدل جهت شناسایی متغییر هایی که بیشتر از همه با موضوع مرتبط هستند و جهت مشخص کردن پیچیدگی و طبیعت کلی مسئله در مراحل بعدی مورد استفاده قرار میگیرد .

 مرحله ۲- ساختن مدل و معتبر سازی (model building and validation):

این مرحله در گیر در نظر گرفتن مدل های مختلف،و انتخاب بهترین آنها بر اساس کارایی در پیشگویی ، می باشد.(برای مثال تعییرات سوُالات را تشریح کندونتایج ثابتی در مقابل نمونه ها تولید کند.) شاید این به نظر عملیات ساده ای بیاید. ولی در واقع بعضی از مواقع در گیر یکسری فرآیند های پیچیده می شود.روشهای مختلفی جهت رسیدن به این هدف وجود دارد که آنها را روشهای ارزیابی رقابتی مدل ها (competitive evaluation of models ) می نامند که مدلهای مختلفی را بر روی یک دادهُ ثابت اعمال می کند و سپس کارایی آنها بررسی می شود تا بهترین آنها انتخاب گردد. این روش ها که در خیلی از مواقع به عنوان هستهُ داده کاوی پیشگویانه تلقی می گردند و شامل    طبقه بندی کردن(bagging،)، ترقی دادن (boosting ) ،انباشتن (stacking )و یادگیری غیر نمادین(meta learning  )میباشند.

 مرحلة۳- مرحلهُ گسترش Deployment:

در آخرین مرحله مدلی که به عنوای بهترین مدل در مرحلة قبلی انتخاب شده بود بر روی داده های جدید به منظور تولید پیشگویی یا بر آورد خروجی مورد انتظار اعمال میگردد.

شهرت داده کاوی به طور روز افزونی به عنوان یک ا بزار مدیریت تجاری داده ها شهرت یافته است و انتظار می رود بتواند ساختار های دانشی را نمایان سازد که در شرایط عدم قطعیت تصمیمات گرفته شده را هدایت کند.

روشهای تحلیلی جدید خصوصاً جهت نشان دادن مسائل مرتبط با داده کاوی تجاری ،اخیراًبسیار مورد توجه بوده اند (به عنوان مثال  درخت های رده بندی) ، با این حال داده کاوی هنوز مبتنی بر قواعد مفهومی روشهای دستیابی قدیمی نظیر  آنالیز اکتشافی داده ها (EDA) و مدلساری میباشد. وقسمت هایی از دست آورد های عمومی و بعضی از تکنیک های خاص خود را با آنها به اشتراک می گذارد.

بهرحال تفاوت زیادی در نفطه نظرات و اهداف داده کاوی و روش آنالیز اکتشافی داده ها (EDA) وجود دارد . داده کاوی بیشتر متمایل به کاربردها است تا طبیعت اصلی پدیدة مورد بررسی.به عبارت دیگر داده کاوی کمتر  به شناسایی روابط خاص موجود بین متغیرها می پردازد.برای مثال آشکار کردن توابع و انواع داده ای خاصی که بر روابط تعاملی و چند متغیری که بین متغیرها وجود دارد هدف اصلی داده کاوی نمی باشد. در عوض توجه خود را به ایجاد روشی که بتواند پیشگویی قابل استفاده ای تولید کند معطوف می سازد. و به همین دلیل است که داده کاوی از بین دست آوردهای جعبه سیاه(black box )  در کاوش داده ها یا اکتشاف دانش مقبولیت بیشتری دارد. و نه تنها از روش های سنتی آنالیز اکتشافی داده ها (exploratory data analysis  (استفاده می کند بلکه از روشهایی مانند شبکه های عصبی   (  Neural network   ) که می تواند پیشگویی های معتبری تولید کند ولی قادر به شناسایی طبیعت خاص روابط داخلی بین متغیرهایی که پیشگویی ها بر اساس آنها صورت گرفته است نمیباشد سود می جوید.

مفاهیم تعیین کننده در داده کاوی:

۱-هم پیوندی (Bagging) :

هم پیوندی قابلیتی برای یافتن روابط ناشناخته موجود در اطلاعات است. این روابط مواردی از قبیل اینکه حضور مجموعه ای از مقولات اشاره به این دارند که مجموعه مقولات دیگری نیز احتمالا وجود دارند را شامل می شود. این قابلیت اساسًا روشی است برای اینکه کشف کنیم چه مقولاتی به هم می خورند.  از آن با عنوان تحلیل سبد بازار یا گروه بندی خویشاوندی نیز یاد می شود.

برای مثال، گزار شهای هم پیوندی چنین شکلی دارند:”٪ ٨٠ مشتریانی که کالای A را خریداری نموده اند، کالای Bرا نیز خریده اند.” درصد خاص وقوع وقایع) مثلا ٪ ٨٠ این نمونه ( را فاکتور اطمینان هم پیوندی B و A می نامند. همچنین ممکن است هم پیوندی های چند گانه وجود داشته باشد: “٪ ٧۵ مشتریانی که کالای D را خریداری نموده اند، کالای Cرا نیز خریده اند.”

کاربرد های هم پیوندی عبارتند از برنامه ریزی موجودی، برنامه ریزی تبلیغاتی برای فروش و مراسلات بازاریابی مستقیم.

مفهوم Bagging (راُی دادن به رده بندی و بدست آوردن متوسط مسائلی که دارای متغیر هایی با مقادیر متوسط وابسته میباشند)و در گسترة داده  کاوی اعمال می گردد تا طبقه بندی های پیشگویانه را از مدل های چندگانه یا از یک نوع مدل ، برای درک اطلاعات ترکیب کند . و همچنین جهت نشان دادن بی ثبا تی ماندگار نتایج در زمانی که مدل های پیچیده به مجموعه های کوچک داده ها اعمال می شوند به کار می رود. فرض کنید که عمل داده کاوی شما می خواهد یک مدل جهت طبقه بندی پیشگویا نه بسازد و مجموعة داده های آن نسبتاً کوچک است . شما می توانید به صورت متوالی مجموعه داده ها را به نمونه های کوجکتر تقسیم کنید و اعمال کنید همانند رده بندی درختی تا به نمونه مورد نظر برسید.در عمل درخت های متفاوتی برای نمونه های منقاوت بسط داده میشوند.یکی از روش های استنتاج یک پیشگویی استفاده از قالب درختی در نمونه های مختلف است و پس از آن برخی نظریات بر روی آن اعمال می گردد.

طبقه بندی   نهایی  طبقه بندی است که عموماً توسط درخت های متفاوت پیشگویی  می شود. توجه داشته باشید که برخی از ترکیب های وزن دار از پیشگویی ها نیز محتمل است و عموماً مورد استفاده قرار می گیرد. یک الگوریتم پیشرفته جهت ایجاد وزن برای پیشگویی های وزن دار یا voting رویه های Boosting  هستند.

 ۲-طبقه بندی ( Boosting )

 

50,000 ریال – خرید

تمام مقالات و پایان نامه و پروژه ها به صورت فایل دنلودی می باشند و شما به محض پرداخت آنلاین مبلغ همان لحظه قادر به دریافت فایل خواهید بود. این عملیات کاملاً خودکار بوده و توسط سیستم انجام می پذیرد.

 جهت پرداخت مبلغ شما به درگاه پرداخت یکی از بانک ها منتقل خواهید شد، برای پرداخت آنلاین از درگاه بانک این بانک ها، حتماً نیاز نیست که شما شماره کارت همان بانک را داشته باشید و بلکه شما میتوانید از طریق همه کارت های عضو شبکه بانکی، مبلغ  را پرداخت نمایید. 

 

مطالب پیشنهادی:
  • مقاله نگاهی بر داده کاوی و کشف قوانین وابستگی
  • تحقیق داده کاوی و اکتشاف دانش
  • برچسب ها : , , , , , , , , , ,
    برای ثبت نظر خود کلیک کنید ...

    براي قرار دادن بنر خود در اين مکان کليک کنيد
    به راهنمایی نیاز دارید؟ کلیک کنید
    

    جستجو پیشرفته مقالات و پروژه

    سبد خرید

    • سبد خریدتان خالی است.

    دسته ها

    آخرین بروز رسانی

      شنبه, ۱۳ آذر , ۱۳۹۵
    
    اولین پایگاه اینترنتی اشتراک و فروش فایلهای دیجیتال ایران
    wpdesign Group طراحی و پشتیبانی سایت توسط دیجیتال ایران digitaliran.ir صورت گرفته است
    تمامی حقوق برایdjkalaa.irمحفوظ می باشد.