Tính toán lưới văn phòng bằng cách sử dụng các môi trường ảo - Phần 5
Giới thiệu
Tôi làm việc trong một công ty mà chúng tôi chạy nhiều công ăn việc làm hàng loạt chế biến hàng triệu hồ sơ của các dữ liệu mỗi ngày và tôi đã suy nghĩ gần đây về tất cả các máy mà ngồi xung quanh mỗi người và mỗi ngày không làm gì trong nhiều giờ. Nó sẽ không được tốt nếu chúng ta có thể sử dụng những máy móc để tăng cường sức mạnh xử lý của các hệ thống của chúng tôi? Trong này tập hợp các bài viết tôi sẽ xem xét các lợi ích tiềm năng của một văn phòng sử dụng điện lưới sử dụng các môi trường ảo.
Trong phần 4 chúng tôi đã sử dụng công cụ để đảm bảo rằng chúng tôi đang chạy phiên bản mới nhất của mã nguồn và dữ liệu để kết quả đạt được là luôn luôn cập nhật với các thông tin kinh doanh mới nhất và logic.
Dự bị triển khai
Trước khi triển khai hệ thống lưới điện của bạn nếu có một điều bạn làm và điều mà một mình nó là tiêu chuẩn hệ thống hiện tại của bạn! Không có vấn đề gì bạn nói với đồng nghiệp về cách làm việc thêm nhiều hệ thống của bạn sẽ làm gì trừ khi bạn có con số để trở lại điều này đảm bảo bạn là không có gì. Vì vậy,
- có bao nhiêu hồ sơ bạn có thể quá trình hiện? Mỗi ngày? Mỗi giờ?
- Bao lâu thì thường cần để chuyển xung quanh một việc làm không?
- Làm thế nào nhiều hơn nữa năng lực bạn có?
Ngoài ra còn có các câu hỏi khác:
- Nếu máy chủ xử lý của bạn (hoặc một trong các máy chủ xử lý của bạn) đi xuống như thế nào sẽ ảnh hưởng đến khả năng của bạn, bạn sẽ làm tê liệt?
- Lợi thế gì bạn hy vọng / mong đợi để có được từ một hệ thống lưới điện?
- Có phải máy của bạn văn phòng có khả năng chạy các công việc?
- Là (hoặc có thể bạn công việc được chuyển đổi) của bạn để làm việc trong phong cách này chạy?
Điểm quan trọng cuối cùng là mất thời gian của bạn trên bất kỳ sự thay đổi lớn như thế này. Cập nhật mã xử lý của bạn để làm việc bằng cách sử dụng các phương pháp mới, điểm chuẩn lại. Có thể thiết lập máy chủ xử lý của bạn để chạy một máy ảo, sau khi tất cả các máy chủ xử lý của bạn sẽ chỉ được một nhân viên khác (chỉ một trong rất mạnh tương đối). Cho phép quá trình mới để giải quyết.
Triển khai
Đề nghị của tôi sẽ là pop vào cuối tuần một văn phòng thực hiện tất cả các cài đặt và thiết lập. Làm điều này ngay trước khi kỳ nghỉ hai tuần là một và để lại rất khác chap nghèo để đối phó với những hậu quả ... có thể không ...
Triển khai cho một hệ thống như thế này cần phải được chậm. Mặc dù nó là tương đối đơn giản để thiết lập hệ thống này sẽ ảnh hưởng đến toàn bộ cơ sở hạ tầng văn phòng của bạn (cũng là số một). Trước hết, lăn ra một vài máy tại một thời điểm, theo dõi lưu lượng mạng, làm thế nào vật chủ nhân thực hiện trên cơ sở hằng ngày. Bạn có thể cần phải thay đổi cấu hình công việc của bạn để đáp ứng với những phát hiện của bạn.
Khi hệ thống đã giải quyết với một vài máy (cho phép nói rằng 10% của tất cả các máy văn phòng, tức là 5) tiếp tục giám sát lưu lượng mạng và máy chủ chuẩn performance. Next một lần nữa, bây giờ bạn sẽ được xử lý công việc nhiều hơn 33% tiêu chuẩn đầu tiên của bạn. Kiểm tra này là như vậy, hoặc là bạn ít nhất là trong sân chơi bóng chày này. Nếu không, điều tra những gì đang xảy ra trước khi chuyển. Lặp lại chu kỳ cho đến khi bạn hạnh phúc có tất cả các máy văn phòng đang chạy mà không giết chết hiệu suất máy tính cá nhân hoặc nghiền mạng của bạn để dừng lại.
Tại tất cả các lần giữ điểm chuẩn, ngay cả sau khi tất cả các triển khai được thực hiện. Kiểm tra bản cập nhật mã mới ảnh hưởng đến tốc độ hệ thống của bạn, hãy kiểm tra tất cả các công nhân được báo cáo và công việc chế biến. Từ từ (rất chậm) tăng cấu hình của bạn để có được công việc tốt nhất từ công nhân và mạng của bạn.
Dừng lại!
Nếu bạn muốn dừng công nhân của bạn chạy ở một thời gian? Họ đều đang chạy ra khỏi đó, tái sinh, và cố gắng hết sức mình để xử lý dữ liệu như côn trùng đói. Câu trả lời có thể có vẻ hiển nhiên, nhưng giá trị của nó thêm chỉ trong trường hợp bị bỏ qua nó. Đơn giản chỉ cần chỉnh sửa kịch bản xử lý của bạn với một lối ra (0) hoặc chết () hoặc tuyên bố một số công việc khác để tiêu diệt chế biến của bạn. Một lý do quan trọng tại sao chúng tôi luôn luôn cố gắng cập nhật để các tập lệnh xử lý mới nhất trước khi chạy bất kỳ!
Hệ thống trình diễn
Để viết này tập hợp các bài viết ngắn tôi tạo ra một mạng lưới rất nhỏ để chứng minh các công nghệ và phương pháp. Tôi đọc rất nhiều bài báo, hướng dẫn, và sử dụng các công cụ khác nhau để thiết lập và theo dõi những gì đang xảy ra. Không có nghĩa là có tôi đi ra ngoài và bão hòa toàn bộ văn phòng với giao thông và cũng không có tôi đã có quyền truy cập vào một máy tính thường xuyên các nhân viên để xem cách thực hiện chủ nhà đã bị ảnh hưởng.
Hệ thống trình diễn của tôi là rất khiêm tốn thực sự. Tôi sử dụng máy tính để bàn thường xuyên của tôi thiết lập là một máy chủ điều khiển công việc. Vào ngày này, tôi đã cài đặt mySQL server cài đặt thiết lập là một bậc thầy trong nhân bản, PHP , Â và SVN liên kết thông qua apache (để truy cập thông qua VM công nhân).
Sau đó tôi tạo ra một máy nhân CentOS trên VirtualBox trên một máy tính xách tay 6 năm tuổi Windows XP. Tôi thiết lập kế hoạch nhiệm vụ theo quy định sau khi sao chép các máy ảo vào máy và cho nó đi.
Các máy ảo được thiết lập với PHP, lật đổ, và mySQL. Tôi đã kiểm tra ra một chi nhánh tên là "công nhân từ các máy chủ điều khiển công việc lưu trữ của tôi và chắc chắn nó có thể được cập nhật bằng cách sử dụng 'svn cập nhật'. Tiếp theo tôi cài đặt mySQL như một nô lệ và kiểm tra dữ liệu đã được sao chép từ mySQL trên máy chủ điều khiển công việc xuống VM công nhân. Sau khi thiết lập này, tất cả các tập lệnh bash tôi và công việc cron.
xử lý kịch bản của tôi về cơ bản đã đi dọc theo dòng này (rất đơn giản, công cụ):
- Tìm hiểu trong lĩnh vực tên
- Tính số lượng các tên tương tự trong một bảng từ nguồn dữ liệu được tổ chức vào VM
- Tính số lượng các tên như trên, nhưng tách tên bằng dấu cách (tức là tên đầu tiên, giữa, họ tên)
- Lặp đi lặp lại quá trình này 1.000 lần
Mỗi công việc mất khoảng 20 phút để chạy. Có lúc tôi mở ra nhiều bản sao của máy ảo trên máy tính xách tay nhân viên các cửa sổ và nhìn các công việc được kiểm tra bằng cách mỗi địa chỉ IP công nhân. Tại thời điểm này tôi cũng khẳng định nhân bản tự động khởi động lại.
Để các máy tính xách tay để chờ kết quả là một nhân viên bắt đầu quá trình công việc từ máy chủ điều khiển công việc. Khi trở lại sử dụng máy tính xách tay đã có một sự chậm trễ trong khoảng 30-60 giây, đây là một số tiền hợp lý của thời gian và nhân viên sẽ cần phải nhận thức rằng máy tính của họ có thể tạm dừng trong một thời gian ngắn khi trở về máy. Máy mới hơn có thể không có một tạm dừng dài này. Các lợi ích của số lượng chế biến thực hiện bởi các máy này trong thời gian nhàn rỗi sẽ lớn hơn nhiều mà các nhân viên phải chờ một thời gian ngắn (nói 1 phút) trên máy của họ khi đến một buổi sáng (tôi thường chờ đợi lâu hơn mà điều này cho một Defender Windows cập nhật diễn ra) cung cấp họ đã nhận thức được thời gian này hữu ích (để lấy một ly cà phê buổi sáng!).
Nói chung tôi cảm thấy tự tin rằng tôi đã chứng minh những công nghệ có thể được sử dụng để tạo ra một hệ thống. Tôi đã chỉ ra rằng hệ thống như vậy không làm việc trên một quy mô nhỏ (rất) và với một số chi tiết thử nghiệm có thể được thúc đẩy sử dụng các nguồn tài nguyên của máy của một văn phòng. Nếu tôi không đến được với các điểm để làm điều này tôi sẽ rất quan tâm để biết / thấy khi một người nào khác không.
Kết luận / Đánh giá
Các bước tiếp theo hiển nhiên là để thực sự có được một ví dụ thế giới thực và bắt đầu triển khai một hệ thống như vậy trong một môi trường văn phòng và xem những gì sẽ xảy ra. Hỏi một doanh nghiệp cam kết này mà không một công ty đường mòn lòng đam mê để chứng minh công nghệ và hiệu quả có thể là một ít khó khăn. Grid / phân phối máy tính là rất phổ biến là một số vòng tròn và có một số ứng dụng lớn (BIONC, SETI @ Home, Folding @ Home, vv). Tôi không, tuy nhiên, tìm thấy một quy mô nhỏ hơn và hệ thống đơn giản như thế này trong tìm kiếm của tôi có thể được triển khai trong một môi trường văn phòng.
Tôi tạo ra một hệ thống cơ bản miễn phí bằng cách sử dụng phần mềm nguồn mở và phần lớn là công cụ có sẵn trong văn phòng hầu như bất kỳ. Các công nghệ về cơ bản đã được chứng minh và hiển thị để thực hiện và làm việc như mong đợi. Hy vọng rằng tôi đã chỉ ra rằng công việc không nhiều và với một thiết lập rất đơn giản, bạn có thể triển khai một hệ thống văn phòng điện toán lưới mà là mạnh mẽ, giá rẻ, Â và khả năng mở rộng tất cả cùng một lúc.
Một khi hệ thống được dựng và chạy hầu như không có kết thúc với số lượng tùy biến và cải tiến, bạn có thể thực hiện. Đối với số liệu thống kê ví dụ / điểm chuẩn có thể dễ dàng được thêm vào hiển thị các giá trị của các hệ thống như vậy mỗi ngày. máy mới có thể được thêm vào một cách nhanh chóng và dễ dàng và khi họ đến với những nâng cấp cho phần cứng hiện tại củng cố sức mạnh xử lý của bạn.
Tôi hy vọng bạn đã rất thích đọc loạt bài này và cho mình bạn thực phẩm cho rằng về chạy một hệ thống lưới văn phòng. Các giải pháp trình bày ở đây sẽ không nhất thiết phải làm việc trong mọi tình huống, nhưng cần được thích nghi để cho phép bạn để có được dữ liệu của bạn xử lý được thực hiện bằng cách sử dụng giải pháp của riêng bạn.
Xin vui lòng gửi cho tôi bất kỳ ý kiến, chỉnh sửa, hoặc cải tiến và tôi sẽ làm hết sức mình để giữ cho bài viết này cập nhật cho phù hợp.
Các bài viết , tính toán , Grid Computing , Linux , PHP , Lập trình Web | 
apache , bash , lô , tiêu chuẩn , cơ sở dữ liệu , triển khai , mạng lưới , nâng cao , Linux , MySQL , mã nguồn mở , PHP , sao chép , lật đổ , ảo , công nhân , Zend Framework , zned
[...] Phần cuối của loạt bài này, được đặt tên Phần 5, chúng tôi sẽ thảo luận về triển khai hệ thống này. Tôi sẽ tóm tắt những gì đã được học và [...]
Chào đó, Great bài viết dude! tôi đang mệt mỏi của nguồn cấp dữ liệu RSS bằng cách sử dụng và làm bạn sử dụng twitter để tôi có thể theo bạn có? D.
PS: Bạn có xem xét việc đưa video lên blog của bạn để giữ cho các độc giả thích thú hơn tôi nghĩ rằng nó hoạt động, Roland Gorychka?.
Xem twitter ở phía bên tay phải của mỗi trang. Cảm ơn!