یک شرکت محوطه سازی را در نظر بگیرید که طراحی های آن بر گیاهان بومی و حفظ آب متمرکز است. این شرکت دو تبلیغ ایجاد می کند: یکی با تمرکز بر پایداری (تبلیغ الف) و دیگری بر روی زیبایی شناسی (تبلیغ B). همانطور که پلتفرم ها برای شخصی سازی تبلیغاتی که کاربران مختلف دریافت می کنند کار می کنند، تبلیغات A و B به گروه هایی با ترکیبی متفاوت تحویل داده می شوند. کاربران علاقه مند به فعالیت های خارج از منزل ممکن است یک تبلیغ پایداری ببینند، در حالی که کاربران علاقه مند به دکوراسیون خانه ممکن است یک تبلیغ زیبایی شناسی ببینند. هدف قرار دادن تبلیغات برای مصرف کنندگان خاص، بخش کلیدی پلتفرم های ارزشی است که به تبلیغ کنندگان ارائه می دهند، زیرا هدف آن ها قرار دادن تبلیغات «درست» در مقابل کاربران «درست» است.
در جدید مجله بازاریابی در طول مطالعه، متوجه شدیم که آزمایش AB آنلاین در تبلیغات دیجیتال ممکن است بینش قابل اعتمادی را که بازاریابان انتظار دارند ارائه نکند. تحقیقات ما محدودیت های قابل توجهی را در ابزارهای آزمایشی ارائه شده توسط پلتفرم های تبلیغات آنلاین نشان می دهد که می تواند منجر به نتایج گمراه کننده در مورد عملکرد تبلیغات شود.
مشکل تغییر تحویل
ما پدیده ای به نام «تحویل متمایز» را برجسته می کنیم، که در آن الگوریتم های هدف گیری که توسط پلتفرم های تبلیغات آنلاین مانند متا و گوگل استفاده می شود، انواع مختلفی از کاربران را با محتوای تبلیغاتی متفاوت هدف قرار می دهند. مشکل زمانی به وجود می آید که الگوریتم با استفاده از آزمون AB، تبلیغات متفاوتی را برای گروه های مختلف کاربران ارسال می کند: آزمایشی که برای مقایسه اثربخشی این دو تبلیغ طراحی شده است. تبلیغ "برنده" ممکن است فقط به این دلیل که الگوریتم آن را به کاربرانی که احتمال بیشتری برای پاسخگویی به تبلیغ داشتند نسبت به کاربرانی که تبلیغ دیگر را دیده بودند، بهتر عمل کرده باشد. ممکن است خود آگهی بسته به ترکیب کاربرانی که آن را مشاهده می کنند به جای محتوای خلاقانه خود تبلیغ، بهتر یا بدتر به نظر برسد.
برای یک تبلیغ کننده، به ویژه با مخاطبان زیاد و بودجه محدود، هدف گذاری ارزش زیادی به همراه دارد. شرکت های بزرگی مانند گوگل و متا از الگوریتم هایی استفاده می کنند که تبلیغات را برای کاربران خاص شخصی سازی می کند. در این پلتفرم ها، تبلیغ کنندگان برای حق نمایش تبلیغات به کاربران درون مخاطب پیشنهاد می دهند. با این حال، برنده مزایده برای حق درج آگهی در صفحه یک کاربر خاص نه تنها به ارزش مالی پیشنهادات، بلکه به محتوای آگهی و ارتباط آن با کاربر بستگی دارد. ورودی ها و روش های دقیقی که تعیین می کنند تبلیغات چقدر برای کاربران مرتبط هستند، ارتباط چگونه بر نتایج حراج تأثیر می گذارد، و بنابراین هر کدام از کاربران را هدف تبلیغات قرار می دهد، مختص پلتفرم های خاصی هستند و برای تبلیغ کنندگان غیرقابل مشاهده هستند. دقیقاً مشخص نیست که الگوریتم ها چگونه مناسب بودن را برای انواع کاربر تعیین می کنند و حتی ممکن است شمارش یا بازتولید آن توسط خود پلتفرم ها ممکن نباشد.
یافته های ما پیامدهای عمیقی برای بازاریابان دارد که برای هدایت استراتژی های بازاریابی خود به آزمایش AB تبلیغات آنلاین خود متکی هستند. با توجه به هزینه کم و جذابیت ظاهری علمی، بازاریابان از تست تبلیغات آنلاین برای توسعه استراتژی هایی استفاده می کنند که فراتر از تصمیم گیری صرفاً تصمیم گیری برای گنجاندن تبلیغات در کمپین بعدی است. بنابراین، وقتی پلتفرم ها به صراحت بیان نمی کنند که این آزمایش ها واقعاً تصادفی نیستند، به بازاریابان احساس امنیت کاذبی در مورد تصمیم های مبتنی بر داده هایشان می دهد.
یک مشکل اساسی در تبلیغات آنلاین
ما احساس می کنیم که این مسئله فقط یک نقص فنی در این ابزار نیست، بلکه یک ویژگی اساسی از نحوه کار تجارت تبلیغات آنلاین است. هدف اولیه سیستم به حداکثر رساندن عملکرد تبلیغات است، نه ارائه نتایج تجربی به بازاریابان. بنابراین، این پلتفرم ها انگیزه کمی دارند تا به تبلیغ کنندگان اجازه دهند تأثیر محتوای تبلیغات را از تأثیر الگوریتم های هدف گیری خود جدا کنند. بازاریابان در موقعیت دشواری قرار می گیرند که مجبورند نتایج گیج کننده این آزمایش ها را بپذیرند یا روی روش های پیچیده تر و گران تر سرمایه گذاری کنند تا واقعاً تأثیر عناصر خلاقانه در تبلیغات خود را درک کنند.
مطالعه ما با استفاده از شبیه سازی، تجزیه و تحلیل آماری، و یک نمایش تحویل متضاد از آزمایش AB واقعی انجام شده در این زمینه، مورد خود را نشان می دهد. ما این باور رایج را به چالش می کشیم که نتایج آزمون های AB که تبلیغات چندگانه را با هم مقایسه می کنند، همان توانایی را برای استنتاج علی مانند آزمایش های تصادفی فراهم می کنند. بازاریابان باید بدانند که تفاوت در تأثیرات تبلیغات A و B گزارش شده توسط این پلتفرم ها ممکن است به طور کامل تأثیر واقعی تبلیغات آنها را منعکس نکند. با آگاهی از این محدودیت ها، بازاریابان می توانند تصمیمات آگاهانه تری بگیرند و از خطرات ناشی از تفسیر نادرست داده های این آزمایش ها جلوگیری کنند.
توصیه به تبلیغ کنندگان
ما توصیه های زیر را برای کسانی که از ابزارهای تست AB استفاده می کنند ارائه می دهیم:
- اگر هدف شما این است که پیش بینی کنید کدام یک از آگهی های خلاق بهترین عملکرد را در ... هدف گذاری شده است محیط زیست - تحت شرایط یکسان و در یک پلت فرم تبلیغاتی با تنظیم کمپین یکسان - توصیه ما این است که به استفاده از ابزارهای تست AB موجود ادامه دهید. برای دستیابی به این هدف، آزمایش کنندگان ممکن است بدشان نیاید - و حتی ممکن است ترجیح دهند - که تست های AB آنها در بین روش های خلاقانه تبلیغ تعادل نداشته باشد و بازنمایی موضوعی نداشته باشد.
- اگر هدف این است که ببینیم چگونه خلاقیت های تبلیغاتی مختلف به طور کلی پاسخ های متفاوتی ایجاد می کنند، گزارش آزمایش باید شامل یک سلب مسئولیت باشد مبنی بر اینکه مقایسه های AB بر روی زیرمجموعه ای از مخاطبان، در بین گروه های مختلف کاربران بهینه سازی شده برای هر تبلیغ به صورت جداگانه انجام شده است، جایی که موضوعات در آن قرار دارند. انتخاب شده توسط یک الگوریتم مالکیت.
- اگر هدف بازاریابی این است که مقایسه بین محتوای تبلیغات را برای استفاده در خارج از پلتفرم فعلی برون یابی کنیم (به عنوان مثال، توسعه استراتژی بازاریابی، یا تبلیغات آفلاین که در آن آزمایش تصادفی و ردیابی کاربر دشوارتر است)، توصیه ما این است که به این تست های AB تکیه نکنید. شواهد علیت در مورد تأثیرات محتوای خلاقانه در تبلیغات. به عنوان مثال، تیم تجزیه و تحلیل باید مراقب باشد که نتایج توسط الگوریتم چگونه تعیین می کند که کدام درمان های تبلیغاتی با موضوعات مختلف تجربی مرتبط هستند، تحریف شوند. این افشاها همچنین باید توسط محققان دانشگاهی انجام شود که از نتایج آزمون AB برای استدلال علمی استفاده می کنند.
به طور خلاصه، آزمایش AB ممکن است راهی آسان برای انجام آزمایشات میدانی برای یادگیری در مورد اثرات تبلیغات، تصاویر و پیام ها به نظر برسد. اما آزمایش کنندگانی که تست های AB را در محیط های تبلیغات آنلاین هدفمند اجرا می کنند باید بدانند که واقعاً چه چیزی به دست می آورند. علاقه ما فقط به استفاده از انواع خاصی از تست های AB محدود نمی شود. بلکه ارائه نتایج به گونه ای است که گویی از آزمایش های متوازن و نتیجه گیری های بعدی و تصمیمات اداری بر اساس آن نتایج حاصل شده است.
مطالعه کامل را برای جزئیات کامل بخوانید
منبع: مایکل براون و اریک ام. شوارتز، «جایی که تست AB اشتباه می کند: چگونه تحویل متفاوت بر آنچه آزمایش های آنلاین نمی توانند (و نمی توانند) درباره نحوه پاسخ مشتریان به تبلیغات به شما بگویند، تأثیر می گذارد.» مجله بازاریابی.
رفتن به مجله بازاریابی