tombo2-progress’s diary

できるだけ毎日1時間を切り取ってここに晒す。誤字脱字気にしない。日本語が崩壊するのも気にしない。最終的にまとめて本ブログに書く

2018-10-01から1ヶ月間の記事一覧

詳解MySQL5.7 p48まで

疑問 repli_semi_syncの開始にmasterの再起動が必要ではないか? (p40あたり) dynamicに変更可能 https://dev.mysql.com/doc/refman/5.6/ja/server-system-variables.html#sysvar_rpl_semi_sync_master_enabled innodb_support_xa https://dev.mysql.com/doc…

詳解MySQL5.7 読書メモ

2. レプリケーション 調査 master thread確認 コードから? mysqldumpの--master-data=2及び他のオプションについて https://dev.mysql.com/doc/refman/5.6/ja/mysqldump.html#option_mysqldump_master-data default: 1 1: change master to ...ステートメン…

Transactional Information Systems続き

3.4 この節での我々のゴールはscheduleの正しさの判断(correctness criteria)を考案することである。 すべてのschedule, Sに対して、そうした判断σを以下のように考える。 このとき0, 1はfalse, trueをそれぞれ意味している。 従って、正しいスケジュール(co…

Transactional Information Systems続き(chap 3.3)

3.3 Syntax of Histories and Schedules この節ではschedulerがオンラインで正しいスケジューリングをどう判断するかを議論するにあたって、スケジュールの記法を明確にする。 P65下から9行目, Here we try to respect ... のrespectが訳せない。 まず、トラ…

Transactional 続き

細かくまとめていかないとまずい 3.1 Goal and Overview この章ではトランザクションのページモデルにおいて並行処理のcorrectnessについて議論する。 This study will reveal a variety of aspects: techniques for proving concurrency control algorithms…

MQRのベンチマークについて考えてた

パフォーマンス計測・改善を繰り返している。 効果が大きいけど検討が必要な部分をどうするかが問題 pcapレベルの話としてスナップショットの長さを固定、queryが取れる程度にする ether frame ~ tcpのpayload抜きで80byte前後、MySQL header (5byte) + クエ…

Transactional Information Systems再開

以前の続き、Chapter 2から読み始める。 今度の勉強会までにChapter5まで終わらないと行けないことを考えると一日5ページすすめることが必須だった、、、 p65まで読み終わったけど、p66のdefinition 3.1で詰まって厳しい。 このへんの記号と意味を調べ直さな…

CMU database続き

3の36分くらいまで。 先生テンション上がってきて早口過ぎてつらい。字幕もついてこないし、同じこと何度も言ってないでゆっくり丁寧に言ってほしいw どうにも時間がないので、1講義終わったらまとめ書く

CMU database講義その2とMySQLパケット解析の進捗

CMU講義 RDBにアクセスするときの基本、SQLの解説、殆どのRDB製品はANSI SQL92を基本としているけど、製品ごとに方言や仕様に沿ってない部分がかなりある。 ANSI SQLは2016まで来ているけど、これらに従っている製品は殆ど無いとのこと。 集計関数、window関…

CMUの講義見ていく

CMUのデータベースの講義(15-445/15-645, Fall 2018)を見ることにした。 Andy Pavlo Assistant Professor(助教)による授業でDatabaseの基本的な構成に関して説明し、後半はC++で実装もする様子。 今回は1回と2回を見てみた。2回目は目も取らずに聞いたの失敗…

そもそも高負荷のMySQLでパケットを完全にキャプチャできるのか?

tcpdumpでMySQLのserevr/client間のパケットをとろうとしてもdropped by kernelがちょいちょい出てしまう。 現状いろいろ工夫してもdropするときはdropするという状態で困っているが、ここまでやったことを整理しておく。 不要な名前解決をやめる -n, -nnで…

ステートを持つとしてどうパースするのか

ステートを持って、packetをパースすることにした。 server greetingを受けてるまでのip:portの組からのパケットは全部破棄するとして、ステートマシンは独自に作らないとならない。 実際MySQL serverがやるようにパースすればよいが、高負荷環境ではtcpdump…

deserializerのつづきとHAツール

HAツールどうにかしたい、とりあえずMHA見てるけど、perlはもういいんだよな、、、 deserializerは早くステート持つようにしないとならない。

benchmark取るとchannel使うのが厳しいのがわかる

チャネル使って並列ド上げつつredigo.Send多用して行きたいけど、パフォーマンス上がらん package main import ( "github.com/go-redis/redis" redigo "github.com/gomodule/redigo/redis" "runtime" "sync" "testing" ) var redisOpts = &redis.Options{ Ad…

パフォーマンス改善していく

fmt.Sprintfするのは%dとか書いてるあたりがおもそうということでstrconv.Itoa()で書いたらその部分が半分以下の時間でできるようになった。 redigoのredis.Do()を毎回呼ぶのは重いという話はわかって入るけど、どうしようか調査中 connection poolからコネ…