Postgres Cluster

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Postgres Cluster

Сообщение sproot » 21 июл 2008, 14:36

Привет народ!
Есть семизначная сумма денег (2-3млн. руб.) :) Необходимо реализовать проект по кластеризации СУБД Postgres. В настоящее время есть следующее оборудование:
1. Два Brocade Silkworm 3850.
2. Один IBM BladeCenter 8677CTO с 8 свободными bay
3. Два Sun StorageTek 3510 FC (один из них JBOD)

Есть идея заюзать PGCluster http://pgcluster.projects.postgresql.or ... ystem.html
Специфика такова, что необходимо чтобы подсистема хранения данных была производительной как для OLTP так и для Data Warehouse приложений. Сейчас общий размер баз данных под управлением Postgres = 132Гб.

Пока, на данном оборудовании мне видится нижеприведенная схема.
Готов выслушать ваши предложения, идеи, советы, пожелания и прочие интересности. :)
P.S.
Сотрудникам Тринити. Если что-то не понятно из выше перечисленного или есть уточнения, лучше сначала стучитесь в аську могу быстрей ответить. Начальство сильно торопит, нужно быстрей определиться с железом..
Вложения
cluster.jpg

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 15:19

Да, совсем забыл. Сейчас БД крутится на одном сервере со следующей конфигурацией:

cat /proc/cpuinfo
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 15
model           : 4
model name      : Intel(R) Xeon(TM) MP CPU 3.33GHz
stepping        : 1
cpu MHz         : 3325.406
cache size      : 8192 KB
physical id     : 0
siblings        : 2
core id         : 0
cpu cores       : 1
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 5
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl est tm2 cid cx16 xtpr
bogomips        : 6656.78
clflush size    : 64

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 15
model           : 4
model name      : Intel(R) Xeon(TM) MP CPU 3.33GHz
stepping        : 1
cpu MHz         : 3325.406
cache size      : 8192 KB
physical id     : 0
siblings        : 2
core id         : 0
cpu cores       : 1
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 5
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl est tm2 cid cx16 xtpr
bogomips        : 6650.55
clflush size    : 64

processor       : 2
vendor_id       : GenuineIntel
cpu family      : 15
model           : 4
model name      : Intel(R) Xeon(TM) MP CPU 3.33GHz
stepping        : 1
cpu MHz         : 3325.406
cache size      : 8192 KB
physical id     : 3
siblings        : 2
core id         : 0
cpu cores       : 1
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 5
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl est tm2 cid cx16 xtpr
bogomips        : 6650.68
clflush size    : 64

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 15
model           : 4
model name      : Intel(R) Xeon(TM) MP CPU 3.33GHz
stepping        : 1
cpu MHz         : 3325.406
cache size      : 8192 KB
physical id     : 3
siblings        : 2
core id         : 0
cpu cores       : 1
fdiv_bug        : no
hlt_bug         : no
f00f_bug        : no
coma_bug        : no
fpu             : yes
fpu_exception   : yes
cpuid level     : 5
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe nx lm constant_tsc pni monitor ds_cpl est tm2 cid cx16 xtpr
bogomips        : 6650.66
clflush size    : 64


cat /proc/meminfo
MemTotal:     16610384 kB
MemFree:       1824720 kB
Buffers:        214388 kB
Cached:       14255696 kB
SwapCached:        720 kB
Active:        7184852 kB
Inactive:      7382868 kB
HighTotal:    15853396 kB
HighFree:      1483436 kB
LowTotal:       756988 kB
LowFree:        341284 kB
SwapTotal:     2097136 kB
SwapFree:      2096388 kB
Dirty:          182036 kB
Writeback:           0 kB
AnonPages:       88300 kB
Mapped:         149888 kB
Slab:           194856 kB
SReclaimable:   146008 kB
SUnreclaim:      48848 kB
PageTables:       6364 kB
NFS_Unstable:        0 kB
Bounce:              0 kB
CommitLimit:  10402328 kB
Committed_AS:   464276 kB
VmallocTotal:   118776 kB
VmallocUsed:     24644 kB
VmallocChunk:    93868 kB


lspci
00:00.0 Host bridge: Intel Corporation E8500 Hub Interface 1.5 (rev 10)
00:01.0 PCI bridge: Intel Corporation E8500 PCI Express x4 Port D (rev 10)
00:02.0 PCI bridge: Intel Corporation E8500 PCI Express x8 Port C (rev 10)
00:03.0 PCI bridge: Intel Corporation E8500 PCI Express x4 Port C1 (rev 10)
00:04.0 PCI bridge: Intel Corporation E8500 PCI Express x4 Port B0 (rev 10)
00:05.0 PCI bridge: Intel Corporation E8500 PCI Express x4 Port B1 (rev 10)
00:06.0 PCI bridge: Intel Corporation E8500 PCI Express x4 Port A0 (rev 10)
00:07.0 PCI bridge: Intel Corporation E8500 PCI Express x4 Port A1 (rev 10)
00:08.0 Host bridge: Intel Corporation E8500 IMI Registers (rev 10)
00:09.0 RAM memory: Intel Corporation E8500 eXternal Memory Bridge (rev 10)
00:09.1 RAM memory: Intel Corporation E8500 XMB Miscellaneous Registers (rev 10)
00:09.2 RAM memory: Intel Corporation E8500 XMB Memory Interleaving Registers (rev 10)
00:09.3 RAM memory: Intel Corporation E8500 XMB DDR Initialization and Calibration (rev 10)
00:09.4 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:09.5 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:09.6 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:09.7 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0a.0 Host bridge: Intel Corporation E8500 IMI Registers (rev 10)
00:0b.0 RAM memory: Intel Corporation E8500 eXternal Memory Bridge (rev 10)
00:0b.1 RAM memory: Intel Corporation E8500 XMB Miscellaneous Registers (rev 10)
00:0b.2 RAM memory: Intel Corporation E8500 XMB Memory Interleaving Registers (rev 10)
00:0b.3 RAM memory: Intel Corporation E8500 XMB DDR Initialization and Calibration (rev 10)
00:0b.4 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0b.5 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0b.6 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0b.7 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0c.0 Host bridge: Intel Corporation E8500 IMI Registers (rev 10)
00:0d.0 RAM memory: Intel Corporation E8500 eXternal Memory Bridge (rev 10)
00:0d.1 RAM memory: Intel Corporation E8500 XMB Miscellaneous Registers (rev 10)
00:0d.2 RAM memory: Intel Corporation E8500 XMB Memory Interleaving Registers (rev 10)
00:0d.3 RAM memory: Intel Corporation E8500 XMB DDR Initialization and Calibration (rev 10)
00:0d.4 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0d.5 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0d.6 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0d.7 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0e.0 Host bridge: Intel Corporation E8500 IMI Registers (rev 10)
00:0f.0 RAM memory: Intel Corporation E8500 eXternal Memory Bridge (rev 10)
00:0f.1 RAM memory: Intel Corporation E8500 XMB Miscellaneous Registers (rev 10)
00:0f.2 RAM memory: Intel Corporation E8500 XMB Memory Interleaving Registers (rev 10)
00:0f.3 RAM memory: Intel Corporation E8500 XMB DDR Initialization and Calibration (rev 10)
00:0f.4 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0f.5 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0f.6 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:0f.7 RAM memory: Intel Corporation E8500 XMB Reserved Registers (rev 10)
00:10.0 Host bridge: Intel Corporation E8500 Front Side Bus, Boot, and Interrupt Registers (rev 10)
00:10.1 Host bridge: Intel Corporation E8500 Address Mapping Registers (rev 10)
00:10.2 Host bridge: Intel Corporation E8500 RAS Registers (rev 10)
00:11.0 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:11.1 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:11.2 Host bridge: Intel Corporation E8500 Miscellaneous Registers (rev 10)
00:13.0 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.1 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.2 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.3 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.4 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.5 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.6 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:13.7 Host bridge: Intel Corporation E8500 Reserved Registers (rev 10)
00:1d.0 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #1 (rev 02)
00:1d.1 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #2 (rev 02)
00:1d.2 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #3 (rev 02)
00:1d.7 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB2 EHCI Controller (rev 02)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev c2)
00:1f.0 ISA bridge: Intel Corporation 82801EB/ER (ICH5/ICH5R) LPC Interface Bridge (rev 02)
00:1f.2 IDE interface: Intel Corporation 82801EB (ICH5) SATA Controller (rev 02)
00:1f.3 SMBus: Intel Corporation 82801EB/ER (ICH5/ICH5R) SMBus Controller (rev 02)
08:00.0 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (A-Segment Bridge) (rev 07)
08:00.2 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (B-Segment Bridge) (rev 07)
09:0e.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID (rev 07)
0c:00.0 PCI bridge: Intel Corporation 6700PXH PCI Express-to-PCI Bridge A (rev 09)
0c:00.2 PCI bridge: Intel Corporation 6700PXH PCI Express-to-PCI Bridge B (rev 09)
0e:02.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 10)
0e:02.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 10)
10:00.0 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (A-Segment Bridge) (rev 07)
10:00.2 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (B-Segment Bridge) (rev 07)
11:05.0 SCSI storage controller: LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 08)
11:05.1 SCSI storage controller: LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 08)
12:07.0 SCSI storage controller: LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 07)
13:00.0 VGA compatible controller: ATI Technologies Inc Radeon RV100 QY [Radeon 7000/VE]


/usr/local/sbin/megarc -AllAdpInfo


       **********************************************************************
             MEGARC MegaRAID Configuration Utility(LINUX)-1.11(12-07-2004)
             By LSI Logic Corp.,USA
       **********************************************************************
         [Note: For SATA-2, 4 and 6 channel controllers, please specify
         Ch=0 Id=0..15 for specifying physical drive(Ch=channel, Id=Target)]

       Type ? as command line arg for help

       AdapterNo  FirmwareType  CardType
       00          40LD/8SPAN    Intel(R) RAID Controller SRCU42E



/usr/local/sbin/megarc -ldInfo -a0 -L0


       **********************************************************************
             MEGARC MegaRAID Configuration Utility(LINUX)-1.11(12-07-2004)
             By LSI Logic Corp.,USA
       **********************************************************************
         [Note: For SATA-2, 4 and 6 channel controllers, please specify
         Ch=0 Id=0..15 for specifying physical drive(Ch=channel, Id=Target)]

       Type ? as command line arg for help


       Finding Devices On Each MegaRAID Adapter...
       Scanning Ha 0, Chnl 1 Target 15

               *******Information Of Logical Drive 0*******

         Logical Drive : 0( Adapter: 0 ):  Status: OPTIMAL
       ---------------------------------------------------
       SpanDepth :01     RaidLevel: 5  RdAhead : Adaptive  Cache: DirectIo
       StripSz   :064KB   Stripes  : 3  WrPolicy: WriteBack

       Logical Drive 0 : SpanLevel_0 Disks
       Chnl  Target  StartBlock   Blocks      Physical Target Status
       ----  ------  ----------   ------      ----------------------
       0      00    0x00000000   0x10ff2000   ONLINE
       0      01    0x00000000   0x10ff2000   ONLINE
       1      10    0x00000000   0x10ff2000   ONLINE



/usr/local/sbin/megarc -ldInfo -a0 -L1


       **********************************************************************
             MEGARC MegaRAID Configuration Utility(LINUX)-1.11(12-07-2004)
             By LSI Logic Corp.,USA
       **********************************************************************
         [Note: For SATA-2, 4 and 6 channel controllers, please specify
         Ch=0 Id=0..15 for specifying physical drive(Ch=channel, Id=Target)]

       Type ? as command line arg for help


       Finding Devices On Each MegaRAID Adapter...
       Scanning Ha 0, Chnl 1 Target 15

               *******Information Of Logical Drive 1*******

         Logical Drive : 1( Adapter: 0 ):  Status: OPTIMAL
       ---------------------------------------------------
       SpanDepth :03     RaidLevel: 1  RdAhead : Adaptive  Cache: DirectIo
       StripSz   :064KB   Stripes  : 2  WrPolicy: WriteBack

       Logical Drive 1 : SpanLevel_0 Disks
       Chnl  Target  StartBlock   Blocks      Physical Target Status
       ----  ------  ----------   ------      ----------------------
       0      02    0x00000000   0x10ff2000   ONLINE
       1      12    0x00000000   0x10ff2000   ONLINE

       Logical Drive 1 : SpanLevel_1 Disks
       Chnl  Target  StartBlock   Blocks      Physical Target Status
       ----  ------  ----------   ------      ----------------------
       0      03    0x00000000   0x10ff2000   ONLINE
       1      13    0x00000000   0x10ff2000   ONLINE

       Logical Drive 1 : SpanLevel_2 Disks
       Chnl  Target  StartBlock   Blocks      Physical Target Status
       ----  ------  ----------   ------      ----------------------
       0      04    0x00000000   0x10ff2000   ONLINE
       1      14    0x00000000   0x10ff2000   ONLINE


/usr/local/sbin/megarc -phys -a0 -chall -idall


       **********************************************************************
             MEGARC MegaRAID Configuration Utility(LINUX)-1.11(12-07-2004)
             By LSI Logic Corp.,USA
       **********************************************************************
         [Note: For SATA-2, 4 and 6 channel controllers, please specify
         Ch=0 Id=0..15 for specifying physical drive(Ch=channel, Id=Target)]

       Type ? as command line arg for help


       Finding Devices On Each MegaRAID Adapter...


       Adapter 0, Channel 0, Target ID 0       ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146707LC       Revision    : 0003
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: Yes        TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 0, Target ID 1       ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146707LC       Revision    : 0003
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: Yes        TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 0, Target ID 2       ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146855LC       Revision    : 0001
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: No         TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 0, Target ID 3       ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146855LC       Revision    : 0001
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: No         TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 0, Target ID 4       ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146855LC       Revision    : 0003
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: No         TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 0, Target ID 6       ----------------------------------------
       Type: PROC                 Vendor      : ESG-SHV
       Product: SCA HSBP M35  Revision    : 1.06
       Synchronous   : No         Wide-32     : No    Wide-16: No
       LinkCmdSupport: No         TagQ support: No    RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 1, Target ID 6       ----------------------------------------
       Type: PROC                 Vendor      : ESG-SHV
       Product: SCA HSBP M35  Revision    : 1.06
       Synchronous   : No         Wide-32     : No    Wide-16: No
       LinkCmdSupport: No         TagQ support: No    RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 1, Target ID 10      ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146707LC       Revision    : 0003
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: Yes        TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 1, Target ID 11      ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146707LC       Revision    : 0003
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: Yes        TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 1, Target ID 12      ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146855LC       Revision    : 0001
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: No         TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 1, Target ID 13      ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146855LC       Revision    : 0001
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: No         TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


       Adapter 0, Channel 1, Target ID 14      ----------------------------------------
       Type: DISK                 Vendor      : SEAGATE
       Product: ST3146855LC       Revision    : 0003
       Synchronous   : Yes        Wide-32     : No    Wide-16: Yes
       LinkCmdSupport: No         TagQ support: Yes   RelAddr: No
       Removable     : No         SoftReset   : No    AENC   : No


Собран RAID5 и RAID10. RAID10 на Seagate Chetah 15K. Соответственно, базы данных лежат на RAID10, а на RAID5 лежит журнал транзакций.

Конечно, не хочется менять "шило на мыло"..Но, если вдруг накроется медным тазом raid контроллер будет очень грустно..Да, и, перфоменца и файловера хочется больше. :)

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 21 июл 2008, 15:58

Первый и главный вопрос - по условиям задачи, применение любой другой (поддерживающей разного рода кластеры) СУБД невозможно/неэффективно ? Почему именно PostgreSQL ?
И - что конкретно делает эта БД, какова нагрузка ?

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 16:04

a_shats писал(а):Первый и главный вопрос - по условиям задачи, применение любой другой (поддерживающей разного рода кластеры) СУБД невозможно/неэффективно ? Почему именно PostgreSQL ?
Во-первых написано огромное колличество всяких разных web-приложений, скриптов, программулек, программулин и прочего безобразия, которые никто переписывать под другие СУБД ну будет. Это раз. А во-вторый postgres знаем уже весь с потрохами и он нам привычней. Это два.

Крутятся корпоративные БД, с информацией по клиентам, netflow, статистика всякая разная. Наибольшая нагрузка порядка 50 запросов в секунду.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 21 июл 2008, 17:08

Статистика нагрузок на дисковую подсистему есть ?

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 17:17

a_shats писал(а):Статистика нагрузок на дисковую подсистему есть ?
Статистика собранная iostat за 24 часа с интервалом 5 сек. устроит ? Вид будет таким:

Время: 00:14:24
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
         22,36    0,00    8,32    3,17    0,00   66,15

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0,09   124,27   11,14   49,20     0,18     0,68    29,09     0,75   12,43   0,77   4,64
sdb               0,06   196,90   34,62   41,05     0,55     0,05    16,18     0,35    4,61   1,01   7,64

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 21 июл 2008, 17:19

Гм. 3510 - аппараты древние, конечно, но такую нагрузку переварят совершенно без проблем - по сути, она никакая :) .
По подбору железа  - к сожалению, ничего сказать не могу, с такими решениями для PostgreSQL не сталкивался.
Чисто теоретически могу предложить несколько не похожий на Ваш вариант, но с немалым запасом:
- ставится пара IBM x3950M2, второй - стендбай.
- к ним ставится пара DS4700 c опцией mirroring .
Просто, убойно, масштабируемо, меньше гемора с софтом.
Повторюсь - вариант с огромным запасом по всем параметрам.

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 17:31

a_shats писал(а):Гм. 3510 - аппараты древние, конечно, но такую нагрузку переварят совершенно без проблем - по сути, она никакая :) .
Нет, Вы не поняли. Это было взято в 00:14:24 времени. За сутки картина будет совершенно другая. :) То что я привел, это одиночное выполнение программы iostat. Чтобы получить полную картину эта программа должна висеть в памяти и выполнятся каждые 5 сек. Запустил. Завтра посмотрим. В отчете будет N-е кол-во таких кусков текстов который я привел. Потом нужно будет проанализировать числа в этом отчете. Видите как все интересно :)

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 17:34

a_shats писал(а):Гм. 3510 - аппараты древние, конечно, но такую нагрузку переварят совершенно без проблем - по сути, она никакая :) .
По подбору железа  - к сожалению, ничего сказать не могу, с такими решениями для PostgreSQL не сталкивался.
Чисто теоретически могу предложить несколько не похожий на Ваш вариант, но с немалым запасом:
- ставится пара IBM x3950M2, второй - стендбай.
- к ним ставится пара DS4700 c опцией mirroring .
Просто, убойно, масштабируемо, меньше гемора с софтом.
Повторюсь - вариант с огромным запасом по всем параметрам.
Сколько стоит это решение?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 21 июл 2008, 17:39

Сейчас сделаю предложения и пришлю.
Боюсь, однако, что оно может выползать за границу Вашего бюджета...
Отправил.

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 18:22

a_shats писал(а):Сейчас сделаю предложения и пришлю.
Боюсь, однако, что оно может выползать за границу Вашего бюджета...
Отправил.
На какой адрес ? sp_root@mail.ru ? Что-то долго нет..

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 21 июл 2008, 18:24

sproot писал(а):
a_shats писал(а):Сейчас сделаю предложения и пришлю.
Боюсь, однако, что оно может выползать за границу Вашего бюджета...
Отправил.
На какой адрес ? sp_root@mail.ru ? Что-то долго нет..
Сорри. :) Только что получил! Спасибо, буду думать.

Аватара пользователя
sproot
member
Сообщения: 23
Зарегистрирован: 19 сен 2005, 08:20
Откуда: Хабаровск
Контактная информация:

Сообщение sproot » 22 июл 2008, 16:53

Дорого. Что предложите в районе 2-3 млн.? Собранная iostat статистика, дисковой подсистемы, прилагается.
Вложения
iostat.rar
(536.4 КБ) 525 скачиваний

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 23 июл 2008, 11:16

То, что могу предложить в рамках указанного Вами бюджета
- не будет по определению иметь такой масштабируемости
- не будет иметь зеркалирования томов между массивами.
Т.е. собственно вся ответственность за целостность БД, репликацию и балансировку нагрузки ляжет именно на софт. Каковой - сразу предупреждаю - настраивать не возьмусь.
Устроит ?
Есть еще один вариант, попроще.
х3850 + DS4700 2 полки (по Вашей статистике,  макс. нагрузка, что я увидел  ~ 1,5K IOps, учитывая, что сейчас на сервере 30% нагрузки - надо  для парирования 100%  - соответственно, 30 винтов).
Т.е. пока как бы половина кластера, асинхронная репликация средствами софта на Ваш старый сервер.
Как Вам такой вариант ?
Просто тот вариант, что Вы хотели изначально - слишком сложен в плане организации, чтобы быть достаточно отказоустойчивым, и слишком полагается на софт.

Andrey N. Oktyabrski
Advanced member
Сообщения: 229
Зарегистрирован: 25 окт 2005, 09:30
Откуда: Краснодар

Сообщение Andrey N. Oktyabrski » 24 июл 2008, 14:18

А я бы санки взял, только spark, а не intel/amd. Очень уж хорошо постгрес на солярке работает... :-)

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 11 гостей