Báo cáo Tìm hiểu và đánh giá một số hệ thống hỗ trợ lưu trữ lớn

Report_RedHat GFS V1.0 1 TRƯỜNG …………………. KHOA………………………. ---------- Báo cáo tốt nghiệp Đề tài: Tìm hiểu và đánh giá một số hệ thống hỗ trợ lưu trữ lớn Report_RedHat GFS V1.0 2 Mục Lục I. Tổng quan .................................................................................................................... 4 1. Giới thiệu ................................................................................................................. 4 2. Các đặc tính nổi bật .................................................................................................. 5 3. Các chức năng mới và được thay đổi ........................................................................ 6 4. Hiệu suất, sự mở rộng, và kinh tế ............................................................................. 6 5.Các chức năng GFS ................................................................................................... 8 6. Các thành phần của phần mềm GFS ......................................................................... 9 7. Thông Tin trước khi cài đặt GFS ............................................................................ 11 II. Các yêu cầu hệ thống ................................................................................................ 11 1. Các yêu cầu nền tảng. ............................................................................................. 12 2. Red Hat Cluster Suite ............................................................................................. 12 3. Hàng rào bảo vệ ..................................................................................................... 12 4. Chuẩn kết nối mạng lưu trữ ................................................................................... 12 5. Kết nối các thiết bị lưu trữ ..................................................................................... 13 6. Network Power Switches........................................................................................ 13 7. Truy cập giao diện dòng lệnh.................................................................................. 13 III. Cài đặt GFS ............................................................................................................. 14 Report_RedHat GFS V1.0 3 1. Cài đặt các gói Red Hat Cluster Suite ..................................................................... 14 IV. Bắt đầu làm quen .................................................................................................... 22 1. Các thao tác đầu tiên............................................................................................... 22 2. Các thao tác thiết lập ban đầu ................................................................................. 23 V. Quản lý GFS............................................................................................................ 24 1. Tạo một hệ thống file ............................................................................................. 24 2. Cài đặt một hệ thống file ....................................................................................... 26 3. Gỡ bỏ một hệ thống file.......................................................................................... 28 4. Quản lý hạn ngạch GFS.......................................................................................... 29 5. Phát triển một hệ thống file..................................................................................... 32 6. Điều khiển vào/ra ................................................................................................... 33 Report_RedHat GFS V1.0 4 Red Hat Global File System I. Tổng quan 1. Giới thiệu GFS là mã nguồn mở, hệ thống tập tin Cluster, trình quản lý volume tương thích POSIX, làm việc trên tất cả phần cứng được hỗ trợ theo Enterprise Linux bao gồm thiết bị SAN.GFS cho phép nhiều máy chủ Red Hat Enterprise Linux đồng thời đọc, ghi trên một hệ thống tập tin. Red Hat GFS được tích hợp với Red Hat Enterprise Linux và được phân phối qua Red Hat Network. Điều này giúp đơn giản hóa tiến trình cài đặt, nâng cấp, quản trị phần mềm. Các ứng dụng chẳng hạn như Oracle 9i RAC, cluster, file, web, email...sẽ dễ dàng được quản lý và đạt được hiệu năng cao với tính sẵn sàng cao nhờ Red Hat GFS. Các máy Red Hat GFS được cấu hình và quản lý với các công cụ cấu hình và quản lý Red Hat Cluster Suite. Red Hat GFS cung cấp dữ liệu chia sẻ giữa các máy GFS trong một Red Hat Cluster. GFS cho phép các ứng dụng cài đặt và chạy không cần nhiều hiểu biết về cơ sở hạ tầng lưu trữ ở dưới. GFS hoàn toàn tuân thủ giao diện IEEE POSIX, cho phép Report_RedHat GFS V1.0 5 các ứng dụng thực thi các file như là chúng đang chạy trên file hệ thống cục bộ vậy. GFS còn cung cấp các tính năng được yêu cầu riêng trong các môi trường doanh nghiệp như: các hạn ngạch, đa nhật kí, và hỗ trợ đa đường dẫn. 2. Các đặc tính nổi bật 2.1. Hiệu năng hoạt động Red Hat GFS giúp các máy chủ Red Hat Enterprise Linux đạt được hiệu năng hoạt động cao hơn đối với các ứng dụng đối với cơ sở dữ liệu, file, và quản trị. Hiệu năng hoạt động vẫn có thể đáp ứng với quy mô hàng trăm máy chủ Red Hat Enterprise Linux thông qua việc sử dụng Red Hat GFS và SAN với iSCSI hoặc Fibre Channel. 2.2. Tính sẵn sàng cao Red Hat GFS là sản phẩm hoàn hảo, tương thích với bất cứ máy chủ, network, hoặc các thiết bị lưu trữ dự phòng nào để cho phép các hoạt động vẫn được duy trì liên tục. Thêm vào đó, Red Hat GFS giúp nâng cao tính sẵn sàng của hệ thống bằng cách cho phép thực hiện các thao tác cấu hình lại chẳng hạn như một file system và volume resizing trong khi hệ thống vẫn hoạt động trực tuyến. Có thể kết hợp sử dụng Red Hat Cluster Suite cùng với GFS để chuyển các ứng dụng trong trường hợp máy chủ xảy ra sự cố hoặc để bảo dưỡng định kỳ máy chủ. 2.3. Dễ sử dụng Red Hat GFS cho phép truy cập nhanh, tốc độ cao, nhiều truy cập đồng thời vào một file system được chia sẻ, giảm thiểu sự phức tạp đối với các tác vụ quản trị bằng cách giảm như cầu sao chép dữ liệu và bảo trì nhiều phiên bản khác nhau của dữ liệu để đảm bảo việc truy cập được nhanh hơn. Được tích hợp với Red Hat Enterprise Linux (AS,ES và WS) và Cluster Suite, được cung cấp thông qua Red Hat Network, và được hỗ trợ bởi đội ngũ chuyên gia hỗ trợ hàng đầu của Red Hat, Red Hat GFS là cluster file system hàng đầu cho Linux trên thế giới. Report_RedHat GFS V1.0 6 3. Các chức năng mới và được thay đổi GULM (Grand Unified Lock Manager) không được hỗ trợ trong Red Hat Enterprise Linux 5. Nếu hệ thống file GFS của bạn sử dụng GULM, bạn phải chuyển các hệ thống file để sử dụng DLM. Việc chuyển này gồm 2 quá trình xử lý: - Trong khi chạy Red Hat Enterprise Linux 4, chuyển các hệ thống file GFS của bạn để sử dụng DLM lock manager. - Nâng cấp hệ điều hành của bạn lên Red Hat Enterprise Linux 5, khi đó, bạn chuyển lock manager sang DLM. 4. Hiệu suất, sự mở rộng, và kinh tế Bạn có thể triển khai GFS trong một cấu hình khác nhau cho phù hợp với nhu cầu của bạn cho hiệu quả hoạt động,sự mở rộng, và kinh tế. Đối với hiệu suất cao và mở rộng, bạn có thể triển khai trong một nhóm GFS đã kết nối trực tiếp đến một SAN. Để biết thêm chi tiết các yêu cầu cần thiết cho kinh tế, bạn có thể triển khai trong một GFS cụm, được kết nối với một mạng LAN với các máy chủ sử dụng GNBD (Global Network Block Device). Dưới đây là những phần cung cấp cho các ví dụ về việc làm thế nào GFS có thể được triển khai cho phù hợp với nhu cầu của bạn cho hiệu quả hoạt động, mở rộng, và nền kinh tế. 4.1. Hiệu suất và mở rộng cao Bạn có thể đạt được hiệu quả chia sẻ file cao khi các ứng dụng truy cập trực tiếp vào nơi lưu trữ. Hình 1.1 thể hiện mô hình của GFS SAN. Report_RedHat GFS V1.0 7 GFS với một SAN cung cấp sự thực thi file nhanh hơn cho các file chia sẻ và các hệ thống file. Các ứng dụng Linux chạy trực tiếp trên các máy GFS. 4.2. Hiệu suất, mở rộng, giá cả vừa phải Các ứng dụng Linux đa khách hàng trên một LAN có thể chia sẻ cùng dữ liệu trên SAN. Hình 1.2. GFS and GNBD with a San Khối lưu trữ SAN được thể hiện trong mạng lưới khách hàng như khối các thiết bị lưu trữ của máy chủ GNBD. Từ quan điểm của một ứng dụng khách, lưu trữ được truy cập nếu Report_RedHat GFS V1.0 8 như nó được gắn trực tiếp vào máy chủ, nơi các ứng dụng đang chạy. Dữ liệu được lưu trữ thực trên SAN. Dữ liệu và các thiết bị lưu trữ có thể được chia sẻ bình đẳng bởi các mạng lưới ứng dụng khách. Các chức năng chia sẻ và khóa file được xử lý bởi GFS cho từng mạng lưới khách. 4.3. Kinh Tế và Hiệu suất Hình 1,3, "GFS và GNBD Kết nối trực tiếp với nơi lưu trữ" cho thấy các ứng dụng Linux khách có thể tận dụng lợi thế của một Topology Ethernet hiện có để đạt được chia sẻ quyền truy cập vào tất cả các khối thiết bị lưu trữ như thế nào. Các file dữ liệu khách và các hệ thống file có thể được chia sẻ với GFS trên từng máy khách. Các ứng dụng FAILOVER có thể được hoàn toàn tự động với Red Hat Cluster Suite. Hình 1.3 5.Các chức năng GFS GFS là một hệ thống file nguôn thủy có giao diện trực tiếp với lớp VFS của giao diện file nhân hệ thống Linux. GFS là một hệ thống file cụm dùng để phát tán số lượng lớn dữ liệu và đa sự kiện cho các hoạt động tối ưu trong một cluster. Việc quản lý các máy trong Report_RedHat GFS V1.0 9 GFS được quản lý thông qua Red Hat Cluster Suite. Khối lượng quản lý được quản lý thông qua CLVM (Cluster Logical Volume Manager). GFS cung cấp các chức năng chính: - Tạo một hệ thống file - Cài đặt một hệ thống file - Gỡ cài đặt một thế thống file - Hạn ngạch quản lý GFS - Phát triển một hệ thống file - Thêm các sự kiện cho một hệ thống file - Điều khiển vào/ra - Nhật kí dữ liệu - Cập nhật cấu hình - Hoãn hoạt động trên một hệ thống file - Hiển thị các thông tin GFS mở rộng và các thống kê - Sửa một hệ thống files - Context-Dependent Path Names (CDPN) 6. Các thành phần của phần mềm GFS Bảng sau mô tả các thành phần hệ thống con của phần mềm GFS Hệ thống phần mềm con Các thành phần Mô tả GFS gfs.ko Mô đun nhân, thực thi hệ thống file GFS và được tải trên các máy Cluster GFS gfs_fack Lệnh dùng để sửa và gỡ các hệ thống file GFS Gfs_grow Lệnh dùng để phát triển hệ Report_RedHat GFS V1.0 10 thống file GFS đã được cài đặt Gfs_jadd Lệnh dùng để bổ sung nhật kí cho hệ thống file GFS đã cài đặt Gfs_mkfs Lệnh dùng để tạo một hệ thống file GFS trên thiết bị lưu trữ Gfs_quota Lệnh dùng để quản lý hạn ngạch một hệ thống file GFS đã được cài. Gfs_tool Lệnh dùng để cấu hình hoặc tùy chỉnh một hệ thống file GFS. Lệnh này còn có thể dùng để thu thập nhiều thông tin về hệ thống file. Lock_harness.ko Thực thi giao diện chức năng pluggable lock cho GFS , cho phép nhiều phương pháp khoa học được sử dụng (ví dụ như: chức năgn khóa DLM, lock_dlm.ko). Lock_dlm.ko Mô đun khóa, thực hiện khóa DLM cho GFS. Nó gắn vào khóa harness, lock_harness.ko và giao tiếp với trình quản lý khóa DLM trong Red Hat Cluster Suite Lock_nolock.ko Mô đun khóa sử dụng khi GFS chỉ được dùng như một hệ Report_RedHat GFS V1.0 11 thống file cục bộ. Nó gắn vào khóa harness, lock_harness.ko và cung cấp khóa cục bộ. 7. Thông Tin trước khi cài đặt GFS Trước khi cài đặt và thiết lập GFS, bạn cần phải chú ý một số đặc điểm chính của các hệ thống file GFS của bạn sau đây: - Số lượng các hệ thống file - Xác định xem có bao nhiêu GFS để tạo ra hệ thống tập tin ban đầu. - Tên hệ thống file - Xác định một tên duy nhất cho mỗi hệ thống tập tin. Mỗi tập tin hệ thống tên là bắt buộc trong mẫu của một tham số biến. - Nhật kí - Xác định số nhật kí của các hệ thống file GFS của bạn. với mỗi máy cài đặt hệ thống file GFS cần phải có một nhật kí. Chắc chắn rằng tài khoản đã được thêm vào nhật ký để mở rộng sau này. - Các máy GFS - Xác định các máy trong Red Hat Cluster Suite sẽ cài đặt hệ thống file GFS - Các máy chủ GNBD - Nếu bạn đang sử dụng GNBD, xác định có bao nhiêu máy chủ GNBD cần dùng. Chú ý hostname và địa chỉ IP của từng máy chủ GNBD phải được thiết lập ở máy khách GNBD sau đó. - Các thiết bị lưu trữ và phân vùng - Xác định các thiết bị lưu trữ và các phân vùng được sử dụng cho việc tạo các phân vùng vật lý (thông qua CLVM) trong các hệ thống file. II. Các yêu cầu hệ thống Phần này mô tả các yêu cầu hệ thống cho Red Hat GFS với Red Hat Enterprise Linux5. Report_RedHat GFS V1.0 12 1. Các yêu cầu nền tảng. Bảng sau thể hiện các yêu cầu nền tảng cho GFS: Operating System Hardware Architecture RAM Red Hat Enterprise Linux AS, ES hoặc WS phiên bản 4. trở lên Ia64, x86-64, x86 SMP được hỗ trợ Tối thiểu: 256 MB 2. Red Hat Cluster Suite Red Hat GFS chạy với Red Hat Cluster Suite phiên bản 4.0 trở lên. Phần mềm Red Hat Cluster Suite phải được cài đặt trên các máy trong cluster trước khi bạn cài và chạy Red Hat GFS. 3. Hàng rào bảo vệ Bạn phải cấu hình từng máy GFS trong Red Hat Cluster của bạn ít nhất một trong những hàng rào bảo vệ. Hàng rào bảo vệ được cấu hình và quản lý trong Red Hat Cluster Suite. 4. Chuẩn kết nối mạng lưu trữ Bảng 2.2, Mô tả các yêu cầu cho các máy GFS mà được kết nối tới một chuẩn SAN: Yêu cầu Mô tả HBA (Host Bus Adapter) Tối thiểu một HBA trong mỗi máy GFS Phương pháp kết nối Fibre Channel switch. Chú ý: nếu một FC switch được sử dụng cho hàng rào bảo vệ, bạn có thể sẽ nghĩ đến việc sử dụng Brocade, McDate hoặc Vixel FC switch. Chú ý: Khi số lượng các máy được sử Report_RedHat GFS V1.0 13 dụng là ít, có thể kết nối các máy trực tiếp qua cổng của thiết bị lưu trữ. 5. Kết nối các thiết bị lưu trữ Bảng 2.3, mô tả các yêu cầu cho các thiết bị được kết nối tới một GFS Cluster: Yêu cầu Mô tả Loại thiết bị Mảng FC RAID hoặc JBOD Chú ý: Làm chắc chắn rằng, các thiết bị có thể hoạt động đáng tin cậy khi rất nhiều truy cập đồng thời từ nhiều người dùng. Chú ý: Chắc chắn rằng, cấu hình GFS của bạn không được vượt quá số máy của mảng hoặc JBOD hỗ trợ. Kích cỡ Hỗ trợ lớn nhất: 8TB cho mỗi hệ thống file GFS. 6. Network Power Switches Bạn có thể bảo vệ các máy GFS với power switches và các tác nhân bảo vệ có sẵn với Red Hat Cluster Suite. 7. Truy cập giao diện dòng lệnh Chắc chắn rằng, bạn có quyền truy cập đến giao diện dòng lệnh trên mỗi máy GFS. Truy cập giao diện dòng lệnh trên mỗi máy đảm bảo rằng bạn có thể quản lý các máy và giải quyết các vấn đề xảy ra. Report_RedHat GFS V1.0 14 III. Cài đặt GFS Việc cài đặt GFS bao gồm cài đặt các gói Red Hat GFS RPM trên các máy trong Red Hat Cluster. Trước khi cài đặt RPM, đảm bảo các vấn đề sau: - các máy trong cluster phải đảm bảo yêu cầu hệ thống như đã được miêu tả ở trên. - Nắm được các thông tin về các đặc điểm chính của cấu hình GFS - phần mềm Red Hat Cluster Suite được cài đúng trong cluster. 1. Cài đặt các gói Red Hat Cluster Suite Red Hat Cluster Suite bao gồm các gói sau: Tên gói Mô tả Rgmanager Trình quản lý các dịch vụ và tài nguyên System-config-cluster Chứa công cụ cấu hình Cluster (Cluster Configuration Tool), được sử dụng cấu hình đồ họa cluster và hiển thị tình trạng hiện tại của các máy, tài nguyên, các tác nhân bảo vệ và các nhóm dịch vụ. Ccsd Chứa các nhóm dịch vụ cấu hình daemon và các file được kết hợp. Magma Chứa giao diện thư viện cho trình quản lý khóa cluster Magma-plugins Chứa các Plugin cho thư viện magma Cman Chứa Cluster Manager (CMAN), được dùng cho việc quản lý các thành viên, thông điệp và thông báo trong nhóm. Cman-kernel Chứa các mô-đun hạt nhân CMAN cần thiết Report_RedHat GFS V1.0 15 Dlm Chứa thư viện quản lý khóa phân phối (Distributed lock management - DLM) Dlm-kernel Chứa các mô-đun hạt nhân DLM cần thiết Fence Hệ thống hàng rào bảo vệ vào/ra cho phép các máy kết nối tới nhiều network power switche, fibre channel switch, và giao diện tương tác trình quản lý điện năng. Gulm Chứa các công cụ userspace quản lý khóa GULM và các thư viện (CMAN hoặc DLM) Iddev Chứa các thư viện được sử dụng để nhận ra các hệ thống file (hoặc trình quản lý hạn ngạch) cho một thiết bị được định dạng. Ngoài ra, bạn có thể cài đặt tùy chọn Red Hat GFS trên bộ Red Hat Cluster Suite của bạn. Red Hat GFS bao gồm các gói: Tên gói Mô tả GFS Mô đun Red Hat GFS GFS-kernel Mô đun nhân Red Hat GFS Gnbd Mô đun GFS Network Block Device Gnbd-kernel Mô đun nhân cho GFS Network Block Device Lvm2-cluster Cluster mở rộng cho trình quản lý hạn ngạch địa phương GFS-kernheaders Các file tiêu đề nhân GFS Gnbd-kernheaders Các file tiêu đề nhân gnbd Report_RedHat GFS V1.0 16 Cài đặt Red Hat Cluster Suite và Red Hat GFS RPM bạn có thể sử dụng các phương pháp: - Tự động cài đặt RPM – sử dụng up2date - Cài đặt tùy chọn RPM – Lựa chọn cài đặt RPM sử dụng các rpm cần thiết. 1.1. Tự động cài đặt RPM Tự động cài đặt RPM bao gồm các hoạt động chạy tiện ích up2date tại các máy của Red Hat Cluster Suite và các sản phẩm Red Hat GFS. Chú ý: Nếu bạn đang cài các GFS RPM, bạn phải chạy up2date cho Red Hat Cluster Suite trước khi chạy nó cho Red Hat GFS. Để tự động cài đặt các RPM, thực hiện các bước sau tại mỗi máy: - Đăng nhập với tài khoản root - chạy lệnh up2date –installall –channel Label cho Red Hat Cluster Suite. - Ví dụ sau đây, là lệnh chạy cho các RPM i386: # up2date --installall --channel rhel-i386-as-4-cluster - (Tùy chọn) Nếu bạn đang cài Red Hat GFS, chạy: up2date --installall --channel Label cho Red Hat GFS. Sau đây là ví dụ cho các gói RPM i386 # up2date --installall --channel rhel-i386-as-4-gfs-6.1 1.2. Cài đặt tùy chọn các RPM Cài đặt tùy chọn RPM bao gồm các bước sau: - Xác định các RPM để cài đặt. - Cài đặt các RPM sử dụng tiện ích rpm. Report_RedHat GFS V1.0 17 Chú ý: Nếu bạn đang cài đặt các GFS RPM, bạn phải cài Red Hat Cluster Suite trước Red Hat GFS. 1.2.1. Xác định các gói RPM để cài đặt Việc xác định các gói RPM để cài đặt dựa trên các tiêu chuẩn sau: - Trình quản lý khóa Red Hat Cluster Suite đang sử dụng: DLM hay GULM - Các chức năng Red Hat Cluster Suite và Red Hat GFS bạn đang sử dụng (bên cạnh các chức năng chuẩn) -Có bao gồm các thư viện phát triển không. - Loại của nhân được cài đặt. Sử dụng các bảng sau để xác định các gói RPM được cài đặt. Report_RedHat GFS V1.0 18 Report_RedHat GFS V1.0 19 Report_RedHat GFS V1.0 20 Các bảng trên chứa các thông tin sau giúp bạn xác định các gói cần cài đặt: - RPM – các tên của các RPM - Inclusion – Các bảng cung cấp các thông tin sau về một RPM nên được bao gồm trong việc cài đặt: + Req: RPM được yêu cầu – bạn phải cài đặt RPM + Opt: RPM tùy chọn + Dev: RPM triển khai – được dùng cho các mục đích phát triển. - Purpose – Cung cấp một miêu tả ngắn gọn về mục đích của RPM. Giúp trong việc xác định các gói RPM bao gồm các gói khác hơn là các RPM được yêu cầu. Để xác định các gói RPM bao gồm trong cài đặt, thực hiện các bước sau: - Xác định xem bạn đang cài Red Hat Cluster Suite với DLM hay Red Hat Cluster Suite với GULM Report_RedHat GFS V1.0 21 + Nếu bạn đang cài đặt Red Hat Cluster Suite với DLM, tham khảo bảng 3.1 để nhận dạng các gói RPM được yêu cầu, được chọn và triển khai. + Nếu bạn đang cài Red Hat Cluster Suite với GULM, tham khảo bảng 3.2 để nhận dạng các gói RPM được yêu cầu, được chọn và triển khai. - Nếu bạn đang cài đặt Red Hat GFS, tham khảo bảng 3.3 để nhận dạng các gói RPM được yêu cầu, được chọn và triển khai. - Với các thông tin nghiên cứu ở các bước trên, tiến hành cài đặt các RPM theo các bước được mô tả trong phần 1.2.2 sau đây. 1.2.2 Cài đặt các gói với tiện ích rpm Bạn có thể sử dụng tiện ích rpm để cài đặt các gói RPM từ CD đã được tạo với các RHN ISO. Quá trình bao gồm việc sao chép các RPM từ máy cục bộ, xóa các RPM không cần thiết cho việc cài đặt, sao chép RPM đến các máy trong cluster, và cài đặt chúng. Hướng dẫn cài đặt RPM: - tại máy nội bộ (không là thành phần trong cluster) tạo một thư mục tạm thời chứa các RPM. Ví dụ: $ mkdir /tmp/RPMS/ - Chèn Red Hat Cluster Suite CD vào trong ổ đĩa CD-ROM Chú ý: Nếu một câu hỏi thông báo hiện ra, trả lời nếu bạn muốn chạy tự động, click - Sao chép tất cả các file RPM từ CD (/media/cdrom/RedHat/RPMS/) tới thư mục mới được tạo tạm thời ở trên. Ví dụ: $ cp /media/cdrom/RedHat/RPMS/*.rpm /tmp/RPMS/ - Thoát CD khỏi ổ đĩa CD-ROM. - (Tùy chọn) Nếu bạn đang cài đặt Red Hat GFS, chèn Red Hat GFS CD vào trong ổ đĩa CD-ROM. Nếu bạn không cài đặt Red Hat GFS, thực hiện tới bước 8. Chú ý: Nếu một câu hỏi thông báo hiện ra, trả lời nếu bạn muốn chạy tự động, click Report_RedHat GFS V1.0 22 - Sao chép tất cả các file RPM từ CD (/media/cdrom/RedHat/RPMS/) tới thư mục mới được tạo tạm thời ở trên. Ví dụ: $ cp /media/cdrom/RedHat/RPMS/*.rpm /tmp/RPMS/ - Thoát CD khỏi ổ đĩa CD-ROM. - Di chuyển đến thư mục chứa các file RPM đã được copy. Ví dụ: $ cd /tmp/RPMS/ - Gỡ bỏ các gói “-kernel” của các nhân không được cài đặt trong các máy Cluster, và cả các gói RPM nào không được cài đặt (ví dụ, các RPM tùy chọn hoặc khai triển). Lệnh sau thực hiện gỡ bỏ SMP và các file hugemem “-kernel” RPM: $ rm *-kernel-smp* *-kernel-hugemem* - Đăng nhập tới từng máy với user tương đương với root và tạo một thư mục chứa các RPM: # mkdir /tmp/node-RPMS/ - Sao chép các RPM từ thư mục tạm thời trong máy cục bộ tới các thư mục trong các máy của Cluster sử dụng lệnh scp. Ví dụ, sao chép các RPM từ máy rhcs-node-01, thực hiện lệnh sau tại máy cục bộ: $ scp /tmp/RPMS/*.rpm root@rhcs-node-01:/tmp/node-RPMS/ - Tại mỗi máy (Đăng nhập như là root), chuyển đến thư mục vừa tạo (/tmp/node-RPMS) và cài đặt các RPM bằng tiện ích rpm sau: # cd /tmp/node-RPMS/ # rpm -Uvh * IV. Bắt đầu làm quen 1. Các thao tác đầu tiên Trước khi thiết lập Red Hat GFS, chắc chắn rằng bạn đã lưu ý các đặc điểm cơ bản của các máy GFS và đã tải các mô đun GFS vào trong mỗi máy GFS. Ngoài ra, làm chắc Report_RedHat GFS V1.0 23 chắn rằng, việc khóa trên các máy GFS đã được đồng bộ hóa. Gợi ý, bạn nên sử dụng phần mềm NTP (Network Time Protocol) được cung cấp trong Red Hat Enterprise Linux. 2. Các thao tác thiết lập ban đầu Việc thiết lập GFS ban đầu gồm các thao tác sau: - Thiết lập các phân vùng vật lý. - Tạo một hệ thống file GFS - Cài đặt các hệ thống file Sau đây là các bước để thiết lập GFS - Sử dụng CLVM (Cluster Logical Volume Manager), tạo một phân vùng vật lý cho từng hệ thống file Red Hat GFS Chú ý: bạn có thể sử dụng init.d trong bộ Red Hat Cluster Suite để tự động kích hoạt hoặc ngừng kích hoạt các phân vùng vật lý. - Tạo các hệ thống file GFS trên các phân vùng vật lý đã được tạo trong bước 1. Mỗi hệ thống file có một tên duy nhất. Cấu trúc lệnh: gfs_mkfs -p lock_dlm -t ClusterName:FSName -j NumberJournals BlockDevice - Tại mỗi máy, cài đặt các hệ thống file GFS. Cấu trúc lệnh: mount -t gfs BlockDevice MountPoint mount -t gfs -o acl BlockDevice MountPoint Tùy chọn –o aclmount cho phép thao tác với các file ACL. Nếu hệ thống file được cài đặt không có tùy chọn này thì, người dùng được phép xem các ACL (với lệnh getfacl), nhưng không được phép thay đổi chúng (với lệnh setfacl). Chú ý: Bạn có thể sử dụng init.d trong bộ Red Hat Cluster Suite để tự động cài đặt hoặc gỡ các hệ thống file GFS. Report_RedHat GFS V1.0 24 V. Quản lý GFS Phần này mô tả các thao tác và các lệnh cho việc quản lý GFS. 1. Tạo một hệ thống file Tại mỗi Cluster đã được thiết lập và chạy, bạn có thể tạo một hệ thống file GFS với lệnh gfs_mkfs. Một hệ thống file được tạo trên phân vùng CLVM đã kích hoạt. Sau đây là các thông tin cần cho việc chạy lệnh gfs_mkfs: - Tên giao thức/ mô đun khóa (lock_dlm) - Tên Cluster - Số nhật kí. 1.1. Cấu trúc lệnh gfs_mkfs -p LockProtoName -t LockTableName -j Number BlockDevice Chú ý: Làm chắc chắn rằng, tất cả các thành viên đều sử dụng các tham số LockProtoName và LockTableName. Nếu không giống nhau các biến đó thì có thể là nguyên nhân hệ thống file hoặc không gian khóa bị sai lệch. - LockProtoName – chỉ định tên của giao thức locking được dùng. - LockTableName – Biến này có 2 thành phần tách biệt nhau bởi dấu hai chấm (:) (không phải là khoảng chống): ClusterName:FSName + ClusterName: Tên của Red Hat Cluster cho hệ thống file GFS đang được cài đặt. + FSName: Tên hệ thống file, có thể từ 1-16 kí tự, mà phải là duy nhất. - Number: Chỉ định số nhật kí đã được tạo bởi lệnh gfs_mkfs. Mỗi nhật kí được yêu cầu cho mỗi máy, được gắn vào hệ thống file. -BlockDevice : Chỉ định một phân vùng. Report_RedHat GFS V1.0 25 1.2 Các ví dụ Trong ví dụ sau, lock_dlm là giao thức locking mà hệ thống file sử dụng. Tên Cluster là alpha, và tên hệ thống file là gfs1. Hệ thống file chứa 8 nhật kí và được tạo trên /dev/vg01/lvol10. gfs_mkfs -p lock_dlm -t alpha:gfs1 -j 8 /dev/vg01/lvol0 Trong ví dụ sau, một hệ thống file lock_dlm thứ hai được tạo, có thể được sử dụng trong cluster alpha. Tên file hệ thống là gfs2. Hệ thống file chứa 8 nhật kí và được tạo trên /dev/vg01/lvol11. gfs_mkfs -p lock_dlm -t alpha:gfs2 -j 8 /dev/vg01/lvol1 1.3. Các tùy chọn Trong bảng 5.1 miêu tả các tùy chọn của lệnh gfs_mkfs: Report_RedHat GFS V1.0 26 2. Cài đặt một hệ thống file Trước khi bạn có thể cài đặt một hệ thống file GFS, thì hệ thống file đó phải tồn tại, phân vùng chứa hệ thống file đó phải được kích hoạt và các hỗ trợ clustering và các hệ thống locking phải được bật. Sau khi những yêu cầu đã được đáp ứng, bạn có thể gắn kết GFS hệ thống tập tin như bất kỳ hệ thống tập tin Linux. Report_RedHat GFS V1.0 27 Để vận dụng các file ACL, bạn phải gắn hệ thống file với tùy chọn –o acl. Nếu một hệ thống file không được gắn với tùy chọn trên, thì người dùng được phép xem các ACL, nhưng không được phép thiết lập chúng (với lệnh setfacl). 2.1. Cấu trúc lệnh Gắn file hệ thống không vận dụng ACL: mount -t gfs BlockDevice MountPoint Gắn hệ thống có vận dụng ACL: mount -t gfs -o acl BlockDevice MountPoint -o acl : Tùy chọn GFS để cho phép vận dụng các file ACL BlockDevice: Chỉ định khối thiết bị nơi hệ thống file GFS hoạt động. MountPoint: Chỉ định thư mục nơi GFS được đặt. 2.2. Ví dụ Trong ví dụ sau, hệ thống file GFS trên /dev/vg01/lvol10 được gắn vào thư mục /gfs1 mount -t gfs /dev/vg01/lvol0 /gfs1 2.3 .Các tùy chọn mount -t gfs BlockDevice MountPoint -o option -o option: bao gồm các tùy chọn GFS được mô tả trong bảng 5.2. Report_RedHat GFS V1.0 28 3. Gỡ bỏ một hệ thống file Hệ thống file GFS có thể được gỡ ra tương tự như các hệ thống file Linux – sử dụng lệnh umount. Chú ý: lệnh umount là một lệnh hệ thống của Linux. Cấu trúc lệnh: umount MountPoint Report_RedHat GFS V1.0 29 MountPoint: Chỉ định thư mục nơi hệ thống file GFS đã được gắn vào. 4. Quản lý hạn ngạch GFS Hạn ngạch hệ thống file được sử dụng để giới hạn giữa không gian hệ thống file và người hay nhóm người dùng có thể sử dụng. Một người dùng hay nhóm người dùng không được không có hạn ngạch cho tới khi hạn ngạch được thiết lập. GFS theo dõi không gian sử dụng của mỗi người, nhóm, kể cả khi chúng không bị giới hạn không gian. GFS dùng lệnh gfs_quota để quản lý các hạn ngạch. 4.1. Thiết lập hạn ngạch Hai thiết lập hạn ngạch có sẵn cho từng userID và groupID: một giới hạn cứng và một giới hạn cảnh báo. Giới hạn cứng là giới hạn không gian có thể được sử dụng. Hệ thống file sẽ không cho phép người dùng sử dụng vượt quá giới hạn đó. Giới hạn cứng có giá trị bằng 0 có nghĩa không có giới hạn nào bị ép buộc. Giới hạn cảnh báo luôn luôn có giá trị nhỏ hơn giới hạn cứng. Hệ thống file sẽ chú ý người dùng khi giới hạn cảnh báo bị vi phạm để cảnh báo họ về số lượng không gian họ đang sử dụng. Giá trị giới hạn cảnh báo bằng 0 có nghĩa là không có giới hạn nào bị ép buộc. Lệnh thiết lập giới hạn chỉ cần chạy trên một máy, nơi GFS được cài đặt. 4.1.1 Cấu trúc lệnh Thiết lập giới hạn cứng: gfs_quota limit -u User -l Size -f MountPoint gfs_quota limit -g Group -l Size -f MountPoint Thiết lập giới hạn cảnh báo: gfs_quota warn -u User -l Size -f MountPoint gfs_quota warn -g Group -l Size -f MountPoint Report_RedHat GFS V1.0 30 Trong đó: User: một userID để giới hạn hay cảnh báo. Đó có thể là tên người dùng trong file password hoặc số UID. Group: một GroupID để giới hạn hay cảnh báo. Nó có thể là tên nhóm trong file group hoặc số GID. Size: chỉ định giá trị mới cho việc giới hạn hoặc cảnh báo. Mặc định, giá trị đó có đơn vị Megabyte. Có thể thay đổi đơn vị bằng cách thêm các tùy chọn –k (kilobyte),-s (sector) và –b flags (file-system block). MountPoint: Chỉ định hệ thống file GFS trong đó các hành động áp dụng. 4.1.2. Ví dụ Ví dụ sau thiết lập giới hạn cứng cho user Bert với 1024Mb trên hệ thống file /gfs. gfs_quota limit -u Bert -l 1024 -f /gfs Ví dụ sau thiết lập giới hạn cảnh báo cho groupID 21 với 50Kb trên hệ thống file /gfs. gfs_quota warn -g 21 -l 50 -k -f /gfs 4.2. Hiển thị các giới hạn hạn ngạch 4.2.1. Cấu trúc lệnh Hiển thị các giới hạn hạn ngạch cho User: gfs_quota get -u User -f MountPoint Hiển thị các giới hạn hạn ngạch cho Group: gfs_quota get -g Group -f MountPoint Hiển thị toàn bộ file hạn ngạch: gfs_quota list -f MountPoint 4.2.2.Thông tin đầu ra Thông tin hạn ngạch GFS từ lệnh gfs_quota được hiển thị như sau: user User: limit:LimitSize warn:WarnSize value:Value Report_RedHat GFS V1.0 31 group Group: limit:LimitSize warn:WarnSize value:Value Trong đó: LimitSize, WarnSize và Value đều có đơn vị mặc định là Mb. User: tên hoặc ID của user để mà dữ liệu được liên kết. Group: tên hoặc ID của group để dữ liệu được liên kết. LimitSize: Thiết lập giới hạn cứng cho user hoặc group. Giá trị bằng 0 nếu không giới hạn nào được thiết lập. Value: dung lượng ổ đĩa thực được sử dụng bởi user hay group. 4.3. Đồng bộ hóa các hạn ngạch GFS lưu tất cả thông tin về hạn ngạch trong file nội bộ của chính nó trên ổ đĩa. Một máy GFS không cập nhật file hạn ngạch này cho tất cả hệ thống file được viết; đúng hơn là, nó cập nhật file hạn ngạch một lần trong 60s. Vì vậy cần tránh sự bất đồng giữa các máy viết vào file hạn ngạch, nếu không nó là nguyên nhân khiến các thực thi chậm lại. Bạn có thể sử dụng lệnh gfs_quota sync để đồng bộ hóa các hạn ngạch thông tin từ một node đến file hạn ngạch trên đĩa giữa các tập tin tự động cập nhật được thực hiện bởi GFS. 4.3.1 Cấu trúc lệnh Đồng bộ hóa thông tin hạn ngạch gfs_quota sync -f MountPoint Điều chỉnh thời gian đồng bộ gfs_tool settune MountPoint quota_quantum Seconds 4.4. Tắt/Bật sự thực thi hạn ngạch Thực thi các hạn ngạch có thể được vô hiệu hoá đối với một hệ thống tập tin mà không khai trong các giới hạn đặt ra cho tất cả người dùng và các nhóm. Sự thực thi cũng có thể được kích hoạt. Report_RedHat GFS V1.0 32 4.4.1. Cấu trúc lệnh gfs_tool settune MountPoint quota_enforce {0|1} 0 = disabled 1 = enabled 4.4.2. Ví dụ Ví dụ sau tắt sự thực thi hạn ngạch trên hệ thống file /gfs gfs_tool settune /gfs quota_enforce 0 Ví dụ sau bật sự thực thi hạn ngạch trên hệ thống file /gfs gfs_tool settune /gfs quota_enforce 1 5. Phát triển một hệ thống file Lệnh gfs_grow được sử dụng để mở rộng một hệ thống file GFS sau khi thiết bị nơi hệ thống file “cư trú” được mở rộng. 5.1. Cấu trúc lệnh gfs_grow MountPoint MountPoint là hệ thống file GFS mà hoạt động được áp dụng. 5.2. Chú ý Trước khi chạy lệnh gfs_grow: - Sao lưu các dữ liệu quan trọng trên hệ thống file - Hiển thị phân vùng được được sử dụng bởi hệ thống file được mở rộng bằng cách chạy lệnh gfs_tool df MountPoint. - Mở rộng phân vùng với LVM. Sau khi chạy lệnh gfs_grow, chạy lệnh df để kiểm tra không gian mới đã có trong hệ thống file hay chưa. Report_RedHat GFS V1.0 33 5.3. Ví dụ Ví dụ sau, hệ thống file trên thư mục /gfs1 được mở rộng. gfs_grow /gfs1 Ví dụ sau, kiểm tra trạng thái của hệ thống file đã được cài đặy. gfs_grow -Tv /gfs1 5.4. Cấu trúc lệnh đầy đủ gfs_grow [Options] {MountPoint | Device} [MountPoint | Device] MountPoint - chỉ định thư mục nơi hệ thống file GFS được gắn. Device - chỉ định thiết bị máy của hệ thống file. Options – các tùy chọn bao gồm: -h: Help. Hiển thị thông tin hỗ trợ. -q: Quiet. Tắt mức dài dòng. -T: Test. Làm tất cả những tính toán, nhưng không ghi bất kỳ dữ liệu nào vào đĩa và không mở rộng hệ thống tập tin. -V: lệnh hiển thị thông tin về phiên bản. - v: tắt tất cả thông báo dài dòng. 6. Điều khiển vào/ra Điều khiển vào/ra là một chức năng của hệ thống file để đọc và viết file đi trực tiếp từ các ứng dụng tới thiết bị lưu trữ, thông qua các cache đọc và viết của hệ điều hành. Điều khiển vào/ra chỉ được sử dụng bởi các ứng dụng mà chúng quản lý cache vào/ra. Một ứng dụng gọi điều khiển vào/ra bằng việc mở một file với cờ O_DIRECT. GFS có thể gắn kèm một thuộc tính điều khiển vào/ra tới một file, khi đó các trạng thái điều khiển vào/ra được sử dụng mà không cần biết file đó đã được mở như thế nào. Report_RedHat GFS V1.0 34 Khi một file được mở với O_DIRECT, hoặc khi thuộc tính điều khiển vào/ra GFS được gắn kèm cho một file, tất cả hoạt động vào/ra phải được thực hiện trong trong khối có kích thước 512 byte. Bộ nhớ đang đọc ra hay viết vào cũng phải là 512 byte. Sau đây là các phương pháp có thể được sử dụng để bật điều khiển vào/ra cho một file: - O_DIRECT. - Thuộc tính file GFS. - Thuộc tính thư mục GFS. 6.1. O_DIRECT Nếu một ứng dụng dùng cờ O_DIRECT để gọi hệ thống open(), thì điều khiển vào/ra sẽ được sử dụng cho việc mở file. 6.2. Thuộc tính file GFS Lệnh gfs_tool sử dụng để chỉ định (thiết lập) một cờ thuộc tính điều khiển vào/ra, directio, cho một file GFS. Cờ directio cũng có thể bị xóa. Cấu trúc lệnh: Thiết lập cờ directio: gfs_tool setflag directio File Xóa cờ directio: gfs_tool clearflag directio File File: chỉ định file nơi mà cờ directio được thiết lập. Ví dụ: Trong ví dụ sau, lệnh thiết lập cờ directio trên một file có tên datafile trong thư mục /gfs1 gfs_tool setflag directio /gfs1/datafile 6.3. Thuộc tính thư mục GFS Lệnh gfs_tool có thể được dùng để thiết lập cờ thuộc tính điều khiển vào/ra, inherit_directio, cho một thư mục GFS. Bật cờ inherit_directio trên một thư mục làm tất Report_RedHat GFS V1.0 35 cả các file được tạo mới trong thư mục đó tự động thừa kế cờ directio. Ngoài ra, cờ inherit_directio được thừa kế cho tất cả các thư mục con được tạo trong thư mục đó. Cờ inherit_directio có thể cũng được xóa. Cấu trúc lệnh: Thiết lập cờ inherit_directio: gfs_tool setflag inherit_directio Directory Xóa thiết lập cờ inherit_directio: gfs_tool clearflag inherit_directio Directory Directory: Thư mục nơi cờ inherit_directio được thiết lập. Ví dụ: Trong ví dụ này, lệnh thiết lập cờ inherit_directio trên thư mục có tên gfs1/data: gfs_tool setflag inherit_directio /gfs1/data/