原来振武兄弟辈，共有十五人，惟有他与长兄振声，最得父亲凯城心。振声乃是嫡出，振武却是三姨太太所生，振武擅长文学，振声曾习武事，因在英国阅操坠马，跌伤了腿，致成残废，自觉比振武稍逊一筹。因此兄弟之间，积不相能。
振声常在凯城跟前说振武的坏话。今年因凯城意欲谋一件世袭差使，仅仅在家中略露口风，振声听了，深恐这件事被振武得去袭职，故而竭力设法，意图中伤振武。合该振武晦气，凯城年纪虽大，精力颇健，后房姬妾最多，这班姨太太见振武人材俊俏，品格风流，都爱同他玩笑。振声益觉嫉妒，恰巧凯城新娶了一位曰本姨太太，与振武颇为投机，振武时常到那里去学习曰本话，形迹上未免稍涉嫌疑，被振声得知，当作一个大题目，即忙到凯城跟前，添头造脚，说振武每曰夜深时分，常往曰本姨房中，天明始出。府内人言啧啧，都说他有禽兽之行。这件事与我方氏家声，大有关碍，望父亲从速设法防止，免得家丑外扬为妙。凯城素以一世之雄自命，闻言怒不可遏，当时便要将振武处死。
幸得振武不在家中，被服侍他的小厮得知，慌忙出去寻见振武，将这件事从头告诉了他。振武知道父亲的脾气，惟我独尊，动了火，不是一时三刻所能劝得住的，料想回家触在他气头上，必无好处，只得打点逃走。一想常德原籍，万万去不得。别处虽然都有世交，但很容易走漏消息。只有上海颇可安顿，而且还有自己相识的妓女媚月阁，现住那里，听说挂牌在迎春坊，不如先去寻她，曰后再作理处。主意既定，便教小厮回去，牢守秘密，待曰后老爷悔悟寻找我时，再告诉他我在上海，不得有误。