কীভাবে ব্যবহার করবেন
- লগ ফরম্যাট বেছে নিন। ডিফল্ট combined ফরম্যাট Nginx ও Apache-র ডিফল্ট সেটিংয়ের জন্য ঠিক আছে; কাস্টম ফরম্যাট হলে nginx.conf থেকে আপনার log_format লাইনটি পেস্ট করুন।
- এক বা একাধিক লগ ফাইল বেছে নিন বা এখানে ফেলুন (.gz-ও চলবে), অথবা কয়েকটি লাইন পেস্ট করুন।
- ক্রলার পরিসংখ্যান, ঘণ্টাভিত্তিক রিকোয়েস্ট, স্ট্যাটাস কোড, শীর্ষ URL, 404 URL, IP, রেফারার ও ইউজার এজেন্ট দেখুন।
অপশনগুলোর ব্যাখ্যা
- ক্রলার শনাক্তকরণ
- Googlebot, Bingbot, Baiduspider, YandexBot, Applebot-এর মতো সার্চ ক্রলার এবং GPTBot, ClaudeBot-এর মতো AI ক্রলার User-Agent দেখে শনাক্ত হয়। কোনো ক্রলার খুলে দেখুন সে কোন URL সবচেয়ে বেশি নিয়েছে।
- ভিজিটরের আসল IP
- ফরম্যাটে $http_x_forwarded_for থাকলে তার প্রথম ঠিকানাকে ভিজিটরের IP ধরা হয়। CDN বা রিভার্স প্রক্সির পেছনে এটি কাজে লাগে।
- ফাইলের আকার
- ফাইল ব্রাউজারে টুকরো টুকরো করে পড়া হয়, তাই কয়েকশো MB-র লগও চলে। গতি নির্ভর করে আপনার কম্পিউটারের ওপর।
একটি লাইন কীভাবে রেকর্ড হয়
প্রতিটি লাইন লগ ফরম্যাটের সঙ্গে মেলানো হয় এবং ফিল্ডে ভাগ হয়। ডিফল্ট combined ফরম্যাটে এই Googlebot অনুরোধ:
66.249.66.1 - - [10/Oct/2026:13:55:36 +0800] "GET /blog/post-1 HTTP/1.1" 404 153 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
পড়া হয় IP 66.249.66.1, মেথড GET, পাথ /blog/post-1, স্ট্যাটাস 404, 153 বাইট, কোনো রেফারার নেই হিসেবে। সময়টি তার অফসেট (+0800) ধরে সুনির্দিষ্ট মুহূর্তে, 05:55:36 UTC-তে, রূপান্তরিত হয়, ফলে ভিন্ন সময় অঞ্চলের সার্ভারের লাইনগুলো ঘণ্টাভিত্তিক চার্টে মিলে যায়, আর ইউজার এজেন্ট Googlebot হিসেবে চিহ্নিত হয়, তাই লাইনটি ওই ক্রলারের জন্য একটি হিট ও একটি 404 যোগ করে।
CDN-এর পেছনে থাকলে ফরম্যাটের শেষে "$http_x_forwarded_for" যোগ করুন। তখন "203.0.113.7, 10.0.0.2" দিয়ে শেষ হওয়া লাইন প্রক্সির নামে নয়, প্রথম ঠিকানা 203.0.113.7-এর নামে গণনা হয়।
সচরাচর জিজ্ঞাসিত প্রশ্ন
আমার লগ কি আপলোড হয়?
না। ফাইল শুধু আপনার ব্রাউজারে পড়া ও গোনা হয় এবং পেজ বন্ধ করলেই মুছে যায়।
লগের প্রতিটি Googlebot কি সত্যিই Google-এর?
না, User-Agent সহজেই নকল করা যায়। সন্দেহজনক IP ক্রলার IP যাচাই টুলে পেস্ট করে রিভার্স DNS দিয়ে নিশ্চিত হন।
অনেক লাইন মেলে না কেন?
লগটি অন্য ফরম্যাটে আছে। হোস্টিং প্যানেল প্রায়ই log_format বদলে দেয়; আপনার nginx.conf-এ আসলে যেটি ব্যবহার হচ্ছে সেটি "কাস্টম log_format"-এ কপি করুন।
গোপনীয়তা
এই টুলটি পুরোপুরি আপনার ব্রাউজারে চলে। আপনার ফাইল ও লেখা আপনার ডিভাইসেই প্রসেস হয় এবং কখনো আমাদের সার্ভারে আপলোড হয় না।