Khoảng trống dữ liệu trong phân tích esports: Ranh giới giữa báo cáo và tự huyễn

Tuần trước, một báo cáo phân tích esports được đẩy lên bàn tôi với đầy đủ khung mục: patch và meta, thể thức giải đấu, đội hình và tuyển thủ, bức tranh khu vực, tài chính câu lạc bộ, luật và quản trị, hồ sơ rủi ro, câu chuyện công chúng, và chuỗi truyền dẫn ngành. Chín hạng mục. Không một ô nào trống về mặt hình thức. Nhưng khi tôi đọc từng dòng, mọi ô đều ghi "không đủ thông tin". Không một tựa game, không một patch, không một đội, không một tuyển thủ, không một con số tài chính, không một sự kiện luật lệ nào xuất hiện. Tôi ngồi im vài phút trước màn hình.

Đây là dạng đầu vào tệ nhất mà một nhà phân tích có thể nhận. Không phải bởi vì nó thiếu dữ liệu, mà bởi vì nó trông như có dữ liệu. Toàn bộ khung xương đã được dựng sẵn, chờ tôi lấp thịt vào. Và bản năng của bất kỳ ai từng làm nghề đủ lâu là lấp thịt vào, vì khung trống khiến người ta khó chịu.

Con số không biết nói dối, chỉ có người đọc nói dối thay chúng. Nhưng có một nghịch lý sâu hơn: khi không có con số nào cả, người đọc dễ nói dối nhất.

Bối cảnh: Vì sao một báo cáo trống lại nguy hiểm hơn một báo cáo sai

Trong phân tích thể thao nói chung và esports nói riêng, người ta thường lo sợ hai loại lỗi: dữ liệu sai và dữ liệu thiếu. Nhưng có loại thứ ba ít được nhắc tới, và nó nguy hiểm hơn cả hai: dữ liệu trống bị lấp bằng giả định.

Tôi gọi nó là "thay thế chủ thể âm thầm". Bạn có một tựa game cần phân tích nhưng tổ chức bạn không nêu tên tựa game nào. Không sao, bạn nghĩ, chắc là liên quan đến một giải LMHT nào đó đang nóng. Bạn có một đội cần đánh giá nhưng không ai nêu tên đội. Không sao, cứ lấy đội đang có tin tức. Bạn có một patch cần đọc nhưng không ai nhắc số patch. Không sao, cứ dùng patch mới nhất đang được cộng đồng bàn tán.

Mỗi bước thay thế riêng lẻ trông vô hại. Nhưng khi chín hạng mục trong một báo cáo đều bị thay thế như vậy, bạn không còn phân tích dữ liệu. Bạn đang phân tích ký ức của chính mình về thứ gì đó gần giống dữ liệu.

Dựa trên kinh nghiệm theo dõi các trận đấu của tôi qua nhiều mùa giải, tôi từng thấy đồng nghiệp viết một bản đánh giá patch hoàn chỉnh cho một tựa game mà họ chưa từng mở trong hai tuần. Chỉ số pick-ban họ đưa ra không sai về mặt con số, nhưng con số đó thuộc về phiên bản trước. Bản báo cáo vẫn trôi chảy, vẫn có biểu đồ, vẫn được duyệt. Cho đến khi thị trường trả lời bằng một dòng tiền đi ngược lại hoàn toàn.

Trong esports, nơi vòng đời patch được đo bằng tuần chứ không phải bằng tháng, một khoảng trống mười bốn ngày có thể biến mọi kết luận thành rác. Bóng đá nghỉ hè ba tháng vẫn giữ nguyên luật chơi và kích thước sân. Nhưng esports đổi sân, đổi luật, đổi trọng lượng của mọi nhân vật trong vài ngày. Đó là lý do vì sao tôi xử lý khoảng trống dữ liệu ở đây nghiêm ngặt hơn bất kỳ môn thể thao nào khác.

Lõi phân tích: Cấu trúc của một khoảng trống và cách nó lây lan

Hãy nhìn vào chính báo cáo tôi đang cầm. Nó được dựng thành chín hạng mục, mỗi hạng mục chứa các ô cần điền. Bản thân cấu trúc không sai. Vấn đề nằm ở chỗ: cấu trúc hoàn chỉnh tạo ra một ảo giác.

Khi bạn nhìn một bảng có tiêu đề "Phân tích patch và meta", có dòng "Hướng dịch chuyển meta", có dòng "Bên được lợi" và "Bên bị thiệt", não bạn tự động giả định rằng những dòng đó sẽ được điền bằng nội dung thật. Đó là cách mắt người đọc bảng hoạt động. Nó không phân biệt giữa một khung có dữ liệu và một khung đang chờ dữ liệu. Cả hai trông giống nhau đến khi bạn đọc từng chữ.

Trong môi trường phân tích thực tế, điều này dẫn tới một hiệu ứng domino cụ thể mà tôi đã chứng kiến nhiều lần. Bước một, người phân tích nhận đầu vào trống. Bước hai, người phân tích không báo về khoảng trống vì sợ bị coi là làm việc kém. Bước ba, người phân tích lấp vào bằng giả định để bản báo cáo "chạy được". Bước bốn, cấp trên đọc và ra quyết định dựa trên giả định đó. Bước năm, tiền đi sai hướng, và không ai truy được lỗi về đâu vì báo cáo vẫn còn nguyên khung, chỉ thiếu một dòng chú thích đã bị bỏ qua.

Điều đáng chú ý là mỗi bước trong chuỗi này đều có vẻ hợp lý với người thực hiện tại thời điểm đó. Không ai trong đó cố ý tạo ra thông tin sai. Tất cả đều đang cố làm cho công việc trôi.

Trong giới phân tích cá cược esports, chúng tôi có một thuật ngữ nội bộ cho chuyện này: "báo cáo đẹp như tranh vẽ, rỗng như vỏ trứng". Một báo cáo đẹp là báo cáo có đủ tiêu đề, đủ mục, đủ định dạng. Một báo cáo rỗng là báo cáo mà nếu bạn gỡ bỏ mọi ô "không đủ thông tin", không còn gì để đọc. Và cái nguy hiểm không nằm ở việc nó rỗng. Nguy hiểm nằm ở việc người đọc không kiểm tra từng ô, vì khung đã khiến họ tin rằng nội dung đáng tin.

Tôi không tin trực giác, tôi tin chuỗi dữ liệu đủ dài. Nhưng trong trường hợp này, ngay cả chuỗi dài cũng vô dụng, bởi vì chưa có điểm dữ liệu nào để chuỗi bắt đầu.

Vì sao các hạng mục chịu rủi ro trước tiên

Nhìn lại báo cáo chín hạng mục, có một nghịch lý về phân bổ rủi ro. Các hạng mục dễ bị lấp bằng giả định nhất không phải là những hạng mục dễ nhất, mà là những hạng mục có tính phân loại cao và ít dữ liệu cứng nhất.

Patch và meta: người ta dễ lấp vì có cảm giác "ai cũng biết meta đang thế nào". Đây chính là hạng mục nguy hiểm nhất trong esports, vì meta không ai thống nhất, chỉ có dữ liệu mới định nghĩa được nó.

Thể thức: người ta dễ lấp vì tưởng thể thức giải đấu là kiến thức phổ thông. Trên thực tế, cùng một giải, thể thức có thể đổi giữa mùa, và BO3 khác BO5 ở mức độ ảnh hưởng tới xác suất lật kèo.

Đội hình và tuyển thủ: người ta dễ lấp vì tên đội hình thường xuyên xuất hiện trên mặt báo. Nhưng một cái tên xuất hiện và một cái tên đang ở phong độ nào là hai chuyện hoàn toàn khác.

Tài chính và luật: đây là hai hạng mục mà "không đủ thông tin" thường bị đọc thành "không có vấn đề". Một câu lạc bộ không có tin nợ lương không đồng nghĩa với việc họ trả lương đúng hạn. Nó chỉ có nghĩa là bạn chưa kiểm tra. Khoảng trống ở đây là khoảng trống chưa bị soi, không phải khoảng trống an toàn.

Bất đối xứng của việc soi rủi ro

Có một quy luật trong phân tích rủi ro mà tôi học được khi làm việc với các công ty cá cược ở Chicago: rủi ro nặng có xu hướng im lặng. Nợ lương không tự phát ra tín hiệu. Vi phạm liêm chính thi đấu không tự phát ra tín hiệu. Chấn thương của trụ cột không tự phát ra tín hiệu cho tới khi bảng thông báo chính thức xuất hiện, và thường thông báo xuất hiện sau khi thị trường đã đi xa.

Điều này nghĩa là khi bạn nhìn một tập dữ liệu và không thấy dấu hiệu nào, bạn không được phép kết luận rằng không có vấn đề. Bạn chỉ được phép kết luận rằng bạn chưa soi. Sự khác biệt giữa hai kết luận này có thể là toàn bộ số tiền đặt cược trong một mùa.

Esports không có trái bóng, nhưng vẫn có nhịp điệu và xác suất để đo. Chỉ có điều, nhịp điệu đó không tự hiện ra khi bạn không chạy phép đo.

Góc phản trực giác: Cấu trúc đầy đủ là thủ phạm, không phải là giải pháp

Phần lớn giới phân tích tin rằng một khung hoàn chỉnh là dấu hiệu của sự chuyên nghiệp. Tôi cho rằng điều ngược lại thường đúng hơn: trong bối cảnh dữ liệu trống, một khung hoàn chỉnh là dấu hiệu của sự nguy hiểm.

Lý do rất cụ thể. Khi đầu vào trống và bạn buộc phải xuất ra một khung đầy đủ, bạn đang đặt bản thân vào tình huống tệ nhất có thể: bạn có hình thức của một báo cáo nhưng không có nội dung của nó. Não người đọc không xử lý hai thứ này tách biệt. Họ thấy hình thức và gán cho nó độ tin cậy tương ứng.

Nếu báo cáo đó thay vào đó là một tờ giấy ghi "không phân tích được, thiếu đầu vào", sẽ không ai gán độ tin cậy cho nó. Sẽ không ai đặt tiền dựa trên nó. Sẽ không ai đưa ra quyết định chiến lược dựa vào nó. Sự trung thực về khoảng trống tự nó là một dạng bảo vệ.

Tôi đã từng đứng ở phía sai của nguyên tắc này. Mùa Euro gần đây, mô hình của tôi dự đoán đội tuyển Anh vô địch dựa trên chỉ số tổng hợp mạnh nhất giải. Kết quả thì ai cũng biết. Nhưng lỗi của tôi không nằm ở việc mô hình dự đoán sai. Lỗi của tôi nằm ở việc tôi đã lấp một biến số bằng con số không. Biến số đó là tác động của một cầu thủ trẻ mười sáu tuổi có chỉ số kiến tạo kỳ vọng 0,8 mỗi trận. Tôi không có dữ liệu cấp đội tuyển cho anh ta, nên tôi gán cho anh ta giá trị gần như bằng không. Tôi không nói dối với con số. Tôi chỉ bỏ trống nó và để não mình tự điền. Đó chính là thay thế chủ thể, chỉ khác là ở tầng biến số chứ không phải ở tầng tên gọi.

Mỗi lần thị trường sốc, tôi mở lại dữ liệu cũ và tìm thấy thứ người khác bỏ quên. Lần này, thứ bị bỏ quên nằm ngay trong chính cách tôi xử lý ô trống.

Takeaway: Ranh giới mới của kỷ luật dữ liệu

Câu hỏi tôi mang theo vào vòng phân tích tiếp theo không phải là "mô hình của tôi còn thiếu chỉ số gì". Câu hỏi đó quá dễ để trả lời và thường dẫn tới việc thêm chỉ số một cách máy móc. Câu hỏi đúng là: trong báo cáo gần nhất, ô nào tôi đã điền bằng giả định mà không đánh dấu?

Nếu câu trả lời là có ít nhất một ô, thì báo cáo đó chưa phải là báo cáo. Nó là một bản phác thảo mang dáng dấp của sự thật. Và một bản phác thảo như vậy, khi được đưa vào thị trường, trở thành thông tin sai lệch trong khi vẫn giữ vẻ ngoài của sự chính xác.